网易易盾总经理朱浩齐亮相GIEC,亲解“内容风控”难题

6月26日,“第二届GIEC互联网文娱数字创新峰会”在北京落下帷幕。本次大会以“技术赋能、流量共生”为主题,从头部案例出发,剖析互联网文娱企业的技术战略规划。

网易易盾总经理朱浩齐出席了本次活动,与其他嘉宾共同探讨行业发展与问题,并在以《数字内容风控赋能泛娱乐行业》为题的演讲中分享了思考。


“风控”是经久不衰的话题,人与机器共存、以数据为基础的风控体系在更广泛的领域落地,让更多人受益。朱浩齐在大会上,先对泛娱乐风控政策变化作了一番分析,再一气呵成地讲解了“体系化的数字内容风控”乃至“黑产对抗的迭代简史”,视角独特,精彩纷呈。具体而言,本次演讲主要聚焦以下几个方面:

○ 泛娱乐在近年的发展趋势及挑战

○ 与黑产对抗的技术演进

○ 易盾如何助力企业维护内容质量

本次演讲摘录如下:

过去十几年时间,我在网易从事信息安全和内容安全的技术研发工作,在这个领域不断地学习创新。得益于网易集团形态多样的业务线,我们研发的信息安全系统服务了网易集团内的所有产品,横跨游戏、直播、电商、音乐、社交、邮件、教育等文娱数字行业。

“数字内容风控”的概念不是我们的一时兴起,实际上是网易风控能力的阶段性总结和能力溢出。2015年,我们意识到信息技术进步带来的“数字化转型是”中国企业的契机。趁着这个时机,我们将网易内部的信息安全服务对外公开。经过了近半年的筹备,“网易易盾”这个品牌在2016年正式创立,为外部企业提供网络信息安全服务,到今天我们陪伴着各行各业的客户在数字化转型中完善基础风控。

01 泛娱乐在近年的发展及挑战

互联网时代,大众娱乐方式逐渐由线下转到线上,包括网络视频、在线直播、网络游戏、在线文学、音乐、动漫等在内的互联网泛娱乐产业均实现快速发展。用户规模庞大、视频内容一枝独秀,以及社交融合趋势明显,是当前泛娱乐发展的3个主要特点。


QuestMobile数据显示,截止到2019年4月,泛娱乐用户规模达到10.86亿,月人均使用时长同比增长13.8%,移动娱乐时代新就此诞生。

中国互联网视频用户超9亿,短视频内容形式大众化,用户活跃率显著高于其他泛娱乐用户。

我们开展服务5年多以来,泛娱乐产业不仅出了最多客户,而且不乏大客户。这个当然与中国数字文娱产业迅猛发展有关系。在2017年以后,直播短视频发展风起云涌。快手、抖音、火山小视频等APP纷纷走红,成为大众表达的一个重要出口。

凡事都有两面性,一个业务在飞速发展过程中容易忽视一些基本问题,比如工业时代飞速发展难容易带来环境污染。蓬勃发展的数字产业同样衍生了安全隐患。2021年以来,近百款APP由于涉嫌数据安全、用户隐私、内容违规等问题被网信办通报下架。

在此基础上,各级政府部门加紧出台政策,针对数字产品制定了监管目标与具体政策,例如近期的饭圈文化治理、网络直播行业政策趋严,以及9月1日起施行的《数据安全法》都是国家根据实际情况增加的监管动作。

政策监管衍生出了大量生态维护工作,应用、生态内容等均需要内容审核与维护。换句话说,在这个强监管时代,企业不仅要顺应监管,更要主动自我监管。

02 与黑产对抗的演进

在互联网平台上,恶意广告信息种类繁多。开发票、代刷粉、办假证、贷款、网络兼职等推广第三方资源的引流信息经常占据着热门区域,像牛皮癣一样难以根除,对互联网产品内容生态有害无益。

新媒体时代,融合文字、图片、音频、视频为一体的内容生态,为黑产提供了充裕的滋长空间。正所谓“道高一尺,魔高一丈”,发送垃圾信息的黑产团伙总是不断研究着新的攻击方式和规则漏洞,对抗正在激烈进行中,下面介绍3种常见的高级对抗方式


花式手段植入信息:黑产团伙迷惑手段多样,对文字进行虚化处理、语义化处理,以及模糊化处理,不一而足。歪曲、倾斜、模糊化的文字令传统检测技术的效果愈发不理想。

对抗从静态走向动态:在静态文本图片中动手脚已经不能满足黑产团伙“专业化”的野心。他们开始全面污染内容生态,将有害信息夹在音频、视频内的某一段或某几秒钟,更为隐蔽、更危险,给内容检测与管控带来了挑战。

侵入业务漏洞:黑产团伙宛如上了发条的探测仪一般,耐心研究多样业务形态下的漏洞,伺机加以利用。以iOS平台的共享相册为例,用户在进行邀请时可以填写内容,通过利用这一机制传播垃圾信息,黑产就能将触手伸向数以亿计的用户。

面对上述挑战,网易易盾与专业的黑灰产团伙展开了长期对抗。在一次次的博弈过程中,不断对技术算法进行升级迭代。目前已经进行了4个回合的较量。

回合一:


我们发现在各个APP和互联网平台中频繁出现的恶意广告信息种类繁多。在问题的初始阶段,我们定向研发了垃圾广告模型、二维码检测模型、面向UGC场景的OCR模型等多种技术能力,来识别各类垃圾数据,取得了不错的识别效果。

回合二:

生产恶意广告的黑产团伙发现内容被机器自动拦截后,并没有停止攻势。第二代违规素材中的有害内容更隐蔽,往往会对传达的内容进行形变、扭曲、涂抹等处理,这种情况对算法模型来说识别难度增加了好几倍。


我们继续通过多特征融合、可形变卷积、主动学习等新技术的应用,不断提升算法模型的基础识别效果,抗住了这波进攻,依然保持了高识别准确率。

回合三:

沉寂了一段时间后的黑产团伙又卷土重来。他们把广告信息隐藏在了图像中美女头发丝、衣领、肩带等不易发现的位置,与图像原有内容巧妙融合,造成识别困难,还采用了一些自动生成工具批量合成素材。短时间内突破了我们的机器识别防线。


一开始我们非常被动,不过通过攻克技术难关逐渐攻占了新的高地。我们利用小样本训练、特征检索、相似聚类等方法反复围剿黑产样本,再次占据了对抗优势。

回合四:

对抗进入了白热化阶段。黑产团伙使用了杀手锏,开始通过扑克牌、麻将牌、等图像本身的内容属性来传达手机号码等信息。


这一阶段大量有害案例涉及语义理解,内容识别算法达到了处理极限。我们考虑引入援军,跨平台、跨产品对抗,通过行为数据、用户数据、内容数据构建了统一向量空间的协同算法模型,通过不同维度信息之间的相互验证、综合决策来把此类干坏事的共性团伙都抓出来,再次提升了拦截率。

在与黑产斗智斗勇的日常中,网易易盾成为了在内容风控领域不断创新的技术探索者,也取得了相应的荣誉和奖项。今年6月,网易易盾针对海量内容的检测技术与综合决策方案,获得了浙江省科学技术进步奖一等奖。

03 易盾如何助力企业维护内容质量

经过多年时间的摸索,我们搭建了一整套成熟的内容安全风控体系,融合多项AI技术与人工审核管理,为海量内容精准、快速的审核提供了可能。下面举几个具体的行业客户案例:

社交产品案例


不少当红陌生人交友APP是我们的大客户。除了交友机制外,这些APP正在向用户提供直播、IM私聊、内容社区等更多社交方式,虽然在营收、用户数等方面均有转好,但也迎来了更艰巨的内容风控挑战,典型的就是软色情与诈骗。

这个案例中的客户是国内热门的陌生人社交服务提供商,原来使用自建审核后台全量人审,后引入易盾“AI机审+审核平台”的模式,文本审核提升2倍、违规账号处理量提升6倍。

在多种违规内容识别的同时,客户着重提防一种“杀猪盘”诈骗,通过送礼物、谈朋友、高投资回报的幌子诱骗对方转账。在过去半年来,我们助力客户拦截数十万次杀猪盘导流信息,有效避免上千万金额流失。

游戏行业的案例


近期,我们的几家游戏客户在短时间内冲入了游戏畅销榜。在竞争加剧的背景下,头部游戏厂商都在追求打造一个安全、公平、有序的游戏环境。对于他们而言,与第三方公司开展移动安全合作,可以用最少的精力最短时间解决致命问题,把更多时间放在玩法创新和用户增长上。

某模拟经营类游戏厂商与我们合作,上线了一套周密的手游安全解决方案,采取加固与反外挂的多重“组合拳”,实现对通用外挂免疫,对新型定制外挂上线自定义对抗策略,具备了主动防御能力。

业务定制化的服务


我们也发现,一个通用的解决方案并不能完美地满足不同企业的信息安全需求,在不同行业中打造差异化审核标准无疑是未来的重点。教育行业,尤其是K12教育,对内容识别的需求与直播娱乐行业截然不同,转而严格把控教师、教具与教材内容。例如,在解决方案的检测下,教育机构得以提前剔除外教课中涉及国家形象、国家地图的敏感内容。

此外,这个定制化也体现在审核系统更好地贴近企业的审核习惯。我们接触过很多企业虽然有自己的审核团队,但操作复杂。以小米为例,在采购了我们的审核系统之后,小爱音响“问答语料库”的审核效率提升了5倍,这意味着在抵御安全威胁这件事上,小米成功节省了人力成本,并将审核资源从重复劳动的循环中释放出来。

04 结语

近两年,不少客户咨询我们关于海外安全的服务。当国内黑产向海外发力成为大势时,客户在海外业务也笼罩在阴影之下。

为了与客户协同治理网络黑产,我们在各个海外节点上部署工具,我们的策略人员开始了解海外环境,熟悉客户所在国家的监管政策,生成特殊规则。拿泰国、印度来说,当地的宗教管理政策各有逻辑,涉及宗教内容的管理也各有不同。

从一线开发到业务负责人,我这十几年来的工作思路也在不断转变:从技术对抗到探索信息安全行业的业务发展方向,再到承担社会责任。

当然,这件事光靠我们一家并不足够,于是我们在5月联合腾讯、阿里云等多方发起了“互联网内容安全联盟”,通过技术共享、标准制定,共同打造“数字内容审核”的试验田,营造清朗的网络空间。我们有理由相信,我们不仅是企业安全的保障者,也是消费者、数字化共享空间,以及整个互联网的守护者