构建全链路内容风控体系 解决内容安全难题

近几年,内容安全已成为全球性互联网生态治理难题。互联网平台多媒体内容爆发带来海量信息的同时,也泥沙俱下裹挟有大量不良有害信息。日前,国家互联网信息办公室发布了《网络信息内容生态治理规定》(以下简称《规定》),实施日期的日益临近,让越来越多的内容平台如临大考,认真审视自身的内容生态治理体系,对平台的内容安全能力是否合规进行考量。本文将重点分析内容安全治理现状、治理的难点以及什么样的内容安全体系才符合当下的治理要求。

一、内容安全治理现状

近年来,我国在内容安全治理方面呈现出以下两个特点:

一是监管部门覆盖度广、政策法规日趋完善。近几年,各部门发布了多个针对不同领域的规章制度,显示出我国在网络内容治理方面的法律法规越来越完善。在此需要重点关注法律法规下责任主体的问题。例如,某用户在内容平台发表了色情广告信息,用户和内容平台此时的行为都属于违法行为,应该对这两个主体都进行处罚,但现实情况是对于用户追责成本非常之高,所以在大多数内容违规事件上,一般只是对内容平台进行处罚。又如,某恶意用户通过网络攻击的方式篡改网站,并发布色情内容信息,此时运营平台不仅违反了内容管理的相关规定,同时依据《网络安全法》,运营方没有落实好信息系统保护的要求,也会给予一定的处罚。 

二是针对性的专项治理行动非常密集。2019年内,相关监管部门发起的专项行动就有四次:全国“扫黄打非”办公室的“护苗2019”专项行动、“净网2019”专项行动,国家版权局等单位联合开展的“剑网2019”专项行动,国家网信办会同有关部门于2019年年中开展网络音频专项整治,目的都是净化网络环境,规范行业发展,促进网络生态持续向好。

以上两个特点,显示了我国对于建设风清气正的网络空间环境的决心。

二、内容安全治理的难点

随着内容的多媒体融合,5G等信息基础设施的发展,互联网内容也迎来大爆发,内容安全压力愈加严峻。当内容平台发展快速,就会被灰黑产盯上,视作“流量蜜罐”,利用其流量曝光机会,植入涉黄赌毒等不良信息,以及大量垃圾广告等。即使在当前的强监管力度之下,违规内容还是层出不穷。据不完全统计,2019年,有上千款应用和服务因为内容安全问题而遭遇下架关停等整改,业务发展遭受巨大损失。

目前网络违规内容具有覆盖场景多、数据变种多、对抗性强的特点。

首先,违规内容覆盖场景已经到了无孔不入的地步。新闻内容、用户评论、用户头像、昵称、看网剧弹幕,任何一个有内容发布的场景都很难躲过违规内容的骚扰。

其次,随着场景的变化和对抗方法的演变,出现了大量的违规数据种类和变种。从最初的文本敏感词,到现在的字体拆分、特殊符号混淆以及图片内嵌入违规内容等多种形式,最近一两年在语音方面又多了一个ASMR(Autonomous sensory meridian response,自发性知觉经络反应)的内容类型,夹杂着很多色情内容。

最后,违规内容的对抗性越来越强,体现在违规内容的发布上有一定的组织性和对抗性,以内容形式的变换和账号的变化来对抗检测或运营策略。

在此背景下,做好内容安全治理面临着多方面的挑战。首先是成本投入高,最主要的是人力成本和设备成本。一个成熟的算法专家年薪在50万左右,而且整个体系需要的不仅是算法人员,还有相关的运营专员、审核专员、策略专员。如果配备完整,一年在人力方面的投入就会有上千万。在设备方面,图像处理所需要用到的GPU节点是比较大的开销。 

其次,是数据积累和审核经验的壁垒。一个图片检测模型需要有几万甚至几十万的样本数据,没有一定的时间和渠道是无法完成这种规模的样本数据积累的。另外,审核人员的经验决定了主观上的审核效果和效率,完善的流程和制度是对效果客观上的保障。审核人员的经验积累要靠不断地学习和培训,流程和制度则需要时间去制定和完善。

三、当下需要什么样的内容生态治理体系?

作为拥有多款亿级用户产品的网易,由于产品形态天然的需要,1998年左右就已经开始做内容反垃圾的研究和部署,陆续对旗下产品提供内容安全防护。经过20多年的发展,网易安全部决定把其自身的技术沉淀和实践云化并对外提供服务,从“后台”走向“前台”,“网易易盾”就此诞生,内容安全是其主打的产品服务。自2016年对外商用以来,已服务数千家企业,日过滤有害信息超过十亿条。

在多年内容安全的实践基础上,我们认为,要全面高效地解决内容安全难题,必须构建出一个智能驱动、统一联动、个性定制、共建众治的内容体系。

智能驱动:在新一代内容安全体系中,智能技术起着驱动引擎的作用。目前90%以上的海量实时多媒体内容都可以被智能技术精准识别过滤。自然语义、图像识别、声纹识别等都在内容安全领域有成熟彻底的落地。

统一联动:内容安全需要从源头彻底解决,就需要联动账户安全,全链路联动识别分析。采用验证码、注册保护、登录保护等反作弊技术、内容安全云能力和本地审核管理系统的联动,可以更有效降低有害内容的产生。

个性定制:直播短视频、网络文学、社交传媒等各领域的内容监管规定不同,需要根据产品形态来灵活定制各自的内容安全策略。

共建众治:有害内容是社会性难题。企业需要有效整合政府法律、技术服务、同行联盟、用户等多种力量共同防治,才能有效打击灰黑产,构建风清气正的互联网生态。

现在内容安全领域的黑灰产对抗非常激烈。以国内某社交媒体平台的现象举例,以往的色情账号会在各个热点事件下直接发布色情言论——直接给出色情网站,或者放出联系方式,这种形式比较容易被内容安全系统检测和封号。现在对抗的形式,已经转变为账号头像换成比较性感,但不属于色情的图片,发表的内容多是正常的评论,但个人头像里都是隐晦的色情引流信息,以此来增强对抗性。

在这种强对抗的背景下,仅仅做内容的检测远远不够,不仅检测效果差,还会留下许多死角,给业务带来潜在的内容违规风险。内容生态的治理不仅是对内容进行处理,还需要纵深的检测防御体系进行辅助。因为大多数的违规内容是非正常用户发布的,内容生态的治理是企业和黑灰产的直接较量,只做内容检测手段过于单一,容易落入疲于应对的局面。

因此,需要构建一个全链路内容风控体系。全链路内容风控体系是从源头进行内容安全治理的具体体现,贯穿了用户全生命周期的纵深防御体系——从账号注册、登录、用户行为、内容发布以及登出。其背后,运用了多个技术对用户进行画像,包括人机识别、风险名单、IP画像、设备模型、行为模型、业务模型、关联分析和规则系统等。


该体系在文字/图片/音频/视频内容检测引擎的基础上,融入了反作弊风控引擎和7*24H策略运营管家服务,在智能内容检测引擎精准确识别违规内容前提下,通过多维度用户行为检测,全面掌控每个可能影响内容风控的环节,从而降低内容安全风险。(作者:朱浩齐)

(本文刊登于《中国信息安全》杂志2020年第2期)