中文站

易盾CTO朱浩齐出席CSDI技术峰会,畅谈内容安全风控系统的智能化

9月27日,由国内专业咨询机构百林哲举办的“2020中国软件研发管理行业技术峰会”盛大召开。本次大会以“产业智能,部署技术新边界”为主题,聚焦“新基建”时代下中国企业的进化路线。网易易盾CTO朱浩齐先生受邀参加大会,并就“内容安全风控系统的智能化”发表演讲,主要内容包括:

○ 背景与意义

○ 主要技术路线

○ 挑战和优化

○ 应用和成果

随着移动终端、5G的快速发展,互联网内容风控面临一系列新的挑战。24小时不停歇的互联网内容安全攻防战每日都在上演。

一边是利用互联网有害内容牟利的不法分子。据统计,仅垃圾短信、诈骗信息等就给我国网民造成的经济损失每年就达1000亿元以上。2019年全年,全国各级网络举报部门共受理各类网络违法和不良信息举报1.39亿件。

一边是依靠法律和技术维护社会秩序的正义方。各级网信部门结合开展“清朗”“网剑”“剑网”“网上扫黄打非”等专项行动严格执法,会同有关部门依法查处网上违法信息和违法行为,严厉处置一批违法违规网站平台。数据显示,二季度,全国网信系统依法查处各类违法违规案件。依法约谈网站648家,警告网站636家,暂停更新网站56家,取消违法网站许可或备案、关闭违法网站2899家,移送司法机关相关案件线索377件。

目前,我国的相关法律法规逐步到位,成为政府执法和商业运行的重要参考,例如《中华人民共和国网络安全法》、《网络信息内容生态治理规定》、《出版管理条例》、《信息网络传播权保护条例》、《互联网新闻信息服务管理规定》、《互联网信息服务管理办法》、《网络出版服务管理规定》、《网络音视频信息服务管理规定》等。

更进一步讲,在这场斗争中,有害内容本身也在跟着技术的发展而不断演变。其中,Facebook就曾在网络信息风控中“翻船”。为了应对互联网内容风控挑战,Facebook组建了数万人规模的审核团队,但内容安全事件仍时有发生。

2017年4月16日,一名美国男子在Facebook上直播其枪杀一位老人的过程;2018年前后,Facebook上出现了大量以动画卡通形象为角色,充斥着色情、暴力情节的”邪典动画”。

上述“直播杀人事件”和“邪典动画事件”引发网民的愤怒,导致全球性的恶劣影响。凶杀、自杀和性侵视频也令Facebook内容模式遭到质疑。


自媒体时代,短视频、直播成为重要的互联网内容形态。对于视频而言,分控难点主要有三方面,分别是内容数据量大、实时风控要求高、有害样本获取难,这给视频内容智能风控带来了巨大的技术挑战。

一、技术突破推动内容安全升级

深耕安全领域22年,网易在沉淀了非常多的经验,无论是对于安全规则的理解,还是信息安全相关的技术研发。网易易盾致力于用“硬核”技术来对网络空间进行监控,判断,甚至自主判断,辅助我们进行实时、准确、有效地治理。总的来说,网易的内容风控技术发展路线可以分为三个阶段:


阶段一:用关键词和黑白名单编制的过滤器

用CPU计算,以C语言为主,内容安全检测系统采取事后发现的思路,提取简单特征进行单维度的拦截,属于被动防御。

受限于硬件计算能力和软件架构,此阶段的技术在海量数据下无法进行实时大规模的运算,缺少稳定的软件、框架和工具,难以部署工业级应用。

阶段二:进行特征匹配与相似聚合的规则系统

用CPU计算,以Java语言为主,内容安全检测系统能够事中判断,离线更新,提取多元特征进行加权比较计算。

此阶段的系统软件上实现了分布式架构,但受硬件资源的限制,只能对海量数据进行简单的实时运算。其进步点在于有稳定和易于维护的软件架构,适合开发多种功能适配的工具和系统,比如聚类、动态规则策略等。

阶段三:融合人工智能技术和大数据分析的综合决策

在硬件方面,网易易盾构建“CPU+GPU+云计算”的弹性异构模式。这种架构带来了高效的计算能力,海量数据可以进行复杂的实时运算,解决了在高并发环境下的性能问题。

在软件方面,网易易盾内容安全检测系统融合了“Java+AI+容器”多种元素。AI技术发展迅速,新算法和框架层出不穷,而容器技术很好的解决了GPU集群的管理问题,兼容了环境和驱动的差异。


阶段的技术已经能够实现实时计算,提取多元特征进行深度学习,属于主动防御。

总体而言,第三阶段的系统在各个方面都接近顶峰:系统稳定性达到99.99%,模型准确率达到99.9%。针对不同类型文件,平均响应时间下降明显。其中,文本仅需100ms,图片仅需500ms,音频实时率0.2,直播延迟毫秒级。得益于技术的进步,互联网内容安全审核迎来黄金时代,日均处理十亿+数据量成为常态。

二、真实问题推动方案灵活运用

在现实场景中,较低的垃圾率却能带来放大误判率的感受。假设1万张图像中有1张是违禁图片,我们的系统准确率为99.9%,即1千张图像会判错一张。即便问题是千里出一,但也会给客户带来不好的使用感受。

此外,在强对抗场景下,黑灰产技术进步带来的识别难度上升,例如文字翻转、图片切割、文字扭曲、特征掩盖、特殊比例图片、字符干扰等疑难杂症。

基于不断迭代的客户需求,客户在实践中直面挑战,实现技术在真实应用场景中的优化,构建纵深防御体系。


首先,以有害内容的分类为例,标签系统实现了更加精细的分类,并支持动态更新。其次,对所有用户数据进行采样和分析,在有安全需求的地方进行检测和拦截。拦截策略可以定制,任何地方可以调用检查。

随着结构和模型的升级换代,各项结果更加令人满意:在保证召回率的同时,节约90%的计算量;在保证精确度和召回率的前提下,模型迭代周期从数周缩短到2~3天;有害内容的拦截召回率比仅采用内容特征的检测系统提高8~10个百分点。

不少To B服务企业即便有技术加持,但部署效果却总差强人意。这是为什么呢?在实际操作中,仍旧需要注意使用方式,避免事倍功半。面对内容安全保障中的实际痛点,网易易盾采取了不同的应对策略:

○ 面对反馈环节缺失,导致优化速度缓慢,系统接入自动化反馈渠道。

○ 面对数据缺失或者采样数据不对,降低模型准确性,技术对用户行为地图进行分析,在关键节点进行采样和检查。

○ 面对垃圾虫不区分的友好交互,帮助垃圾虫突破防御,系统提前完善用户协议和说明,包括社区制度、活动规则、即时判断、延迟作用、策略隐藏等。

以“硬核”技术突破为核心竞争力,以“灵活”商业赋能机制为杠杆,在真实的世界中,网易易盾实现了人工智能在内容安全行业中的切实应用和落地。

三、客户需求推动商业创新

软件即服务(Software as a Service)是21世纪兴起的一种创新软件应用模式,处于云计算产业的应用层。随着云计算市场大步向前,SaaS应用也焕发新机。

通过易盾的互联网内容安全SaaS解决方案,客户不再需要一次性采购昂贵的软件,只需要花费较少的初始投入便可以接入软件服务,一站式解决有害内容泛滥问题。此外,客户可以总是使用到最新版本的更新和更好的服务,而不用担心后期的维护和更新。

网易易盾的互联网内容安全解决方案主要分四大类,包括融媒体解决方案、主动检测解决方案、文档解决方案、音视频解决方案。

融媒体解决方案适用于图文、音视频、文档等合并混合统一检测场景。当前,SaaS服务已经从重资产转向轻资产,只需独立接口就能实现无忧接入,图片音视频场景全覆盖。


主动检测解决方案,顾名思义,能够主动检测网站内容,全面涵盖网页内文本、图片、附件文档,并定期输出内容风险检测报告,规避内容发布风险,及时扼制因恶意篡改而造成内容违规风险。


文档解决方案适用于所有图文混合过检场景,独立接口调用,快速解析文档/图文内容,省去自行筛分过检烦恼。


音视频解决方案致力于智能解析音视频全媒体,支持视频标题、视频封面、视频内容、音频内容、弹幕、评论、热度监测等一站式专业过滤。


网易AI技术部门在国际竞赛中与国内外高校和企业同台竞技屡获佳绩,包括中央网信办、工信部、公安部、科技部指导的中国多媒体信息识别技术竞赛中获A级证书(最高级);中国计算机学会举办的ASRU 2019中,获端到端语音识别第一名;清华大学主办的东方语言识别大赛OLR 2018中,在三个比赛任务中获得开集语言识别和混淆语言识别两项第一名;创新工场等单位主办的2018年全球AI挑战赛中,获短视频实时分类竞赛冠军。

在数字经济时代,几乎所有行业都不能对“内容安全”置之不理。随着互联网内容的治理办法相继出台,包括金融、电商、零售、在线教育、在线文娱在内的众多“互联网+”行业所生产的数字内容都在监管范围之内。由此,对于易盾而言,不少行业都是重点服务对象,贴近行业深入把握有害内容的特点,在不同行业建立起示范效应是重中之重。

此外,新冠疫情的爆发激发了客户对成本和管理效率的重视,撬动了他们对数字化的期待,为之迎来了重要发展机遇。当下,上至政府,下至企业,都计划全方位部署数字战略,以保证信息和服务随时随地能够通过任何平台或设备被获取。

总的来说,无论是互联网内容的监管升级,还是政府、企业的数字战略升级,都让内容安全SaaS服务迎来春天。未来,网易易盾将“行业化、产品化、国际化”发展方针,持续打磨产品,丰富功能,向客户提供优质服务。在守护客户内容安全“生命线”的同时,助力企业提质、降本、增效,共塑“清朗”的互联网环境。

本文内容根据网易易盾CTO朱浩齐在「2020中国软件研发管理行业技术峰会」上的演讲整理而成。