云安全：短视频、直播内容安全运营的实战策略

　　如今，直播+电商的模式不仅给互联网产品运营带来了新思路，也让直播之火燃烧得更加旺盛。但与之同时，直播产品本身也产生的一系列问题，甚至极大地损害了用户体验，比如直播中的色情、广告、谣言等。

　　在最近的网易运营开放日上，来自网易云安全(易盾)的产品总监饶晓艳做了有关于短视频、直播内容安全运营实战分享。在她看来，互联网从业人员在产品日常运营中，除了要做到引导核心用户贡献优质的内容，同时也要做到处理掉那些低质量甚至是垃圾的内容，整个处理的过程其实是在跟黑灰产团伙做持久攻防斗争。

　　互联网内容建设现状堪忧，黑产也会“追热点”

　　据饶晓艳介绍，制造淫秽色情、诈骗信息、垃圾广告等有害信息的团伙有一个很明显的特征：追热点。哪里有人气、哪里有流量他们就在哪里扎推，不分昼夜，尤其会选择夜间这一防守相对薄弱的时间段来发布垃圾恶意信息。

　　更为可怕的是，内容制造商团伙基本上是通过网上协作的形式进行不良信息发布，他们有的是需求方，有的是接单方，而在接单方中又会细分为自动发帖机提供方、批量账号提供方、垃圾内容制造方。

　　以上“高效”的有害信息生产方式，足以让互联网产品的用户体验大打折扣。据中国互联网违法和不良信息举报中心数据显示，平均每月全国各地网信办受理网民举报304.6万件;淫秽色情、诈骗信息、垃圾广告等有害信息源源不断。其中，淫秽色情类有害信息仍较为突出，举报达121.5万件，占比67.2%;网络社交工具的使用过程中碰到的侵权现象，广告信息多占比最高70.8% 。

　　面对政策法规、用户体验，直播内容安全危机重重

　　饶晓艳认为，包括直播在内的所有互联网UGC产品的内容运营风险主要来自于两方面：一是政策法规，目前很多国家法规里面已经明确了对互联网产品中相关内容的要求——弹幕必须是要做到先审后发;直播间必须有水印标识;直播内容必须要有二十四小时的审核监管;表演者必须实名注册等。

　　二是涉及到用户体验，“现在大家实际看到的云音乐评论是特别有故事性，或者经常特别耐看，其实我们每天从云音乐的原创歌单或者评论区删掉的内容也非常多”，饶晓艳说，“不同的粉丝群经常也会出现掐架或者撕逼的状态，分分钟人身攻击到比较严重的程度，这些情况都需要过滤和处理”。

　　从直播类产品痛点案例来看，目前直播类碰到的内容监管有四个比较明显的难点：首先是弹幕聊天室的实时审核;然后是色情审核，现在仍然有秀场类的主播通过衣服脱下去再马上穿上的秒录行为打“擦边球”，如果监管不及时，很难抓到;再次是用户突发通过平台直播一个群体事件或者不良事件，平台需要担责;最后则是成本和技术方面的持续积累和投入负担过重。

　　网易云安全(易盾)如何在实战中解决内容安全问题?

　　面对专业黑产、政策法规规范、用户体验差等风险，饶晓艳解释说，网易云安全(易盾)在给内部产品或者外部产品提供内容安全服务时，首先会从文本、图片、视频和语音等方面入手，来一次全面的检测;在为做直播类产品提供服务时，网易云安全(易盾)还会从弹幕实时过滤、用户头像/昵称过滤、聊天区文本/图片过滤、直播间电视墙监控等方面来做内容安全解决方案。

　　“现在法规要求实名认证，我们的联动行为式验证码和联动身份认证都是在发垃圾之前提高相应的门槛，然后挡掉一部分的垃圾用户”，饶晓艳说，“直播中挂机或者黑屏的行为，我们也会去做检测”。

　　据介绍，在外部客户口碑中，网易云安全(易盾)得到了全聚星、一起秀等负责人的高度评价。一起秀CTO黄景素就曾表示：“随着一起秀产品的不断发展，用户量急剧上升，弹幕区留言区的参与活跃度都非常高，运营审核人员已不堪重负，网易易盾帮助我们解决了燃眉之急，切实帮助我们有效过滤了不良信息，减少了运营风险”。

　　饶晓燕总结说，做内容安全必须注意以下重要环节——注册、登录、帐号各个环节做预先的处理;做一些相应地法律法规学习;重点关注的产品热门板块等。网易云安全(易盾)团队在内部做了将近二十年的内容安全工作，内容的审核方式也正在从人工到人工智能的演进，在未来，网易云安全(易盾)希望能为广大政企客户、开发者们提供更为完善高效的内容安全解决方案。