中文站

对话易盾 | AI 对人工审核的影响:解放大于取代

喜欢阅读小说的朋友们一定有过类似感受,在一本书籍中突然出现省略。读者会本能地猜测被吞掉的到底是什么字,不但影响阅读体验,还容易让人浮想联翩。在上网冲浪时,这种情况也并不少见,如用户在评论区的留言被省略。


无论是作者还是读者,内容创作者还是消费者,都很讨厌遇到这类情况,而究其原因在于人工智能(AI)对“禁止关键词”无差别的命中,平台不能保证 AI 每一次都能作出正确的决定。

随着互联网的快速发展,互联网用户发布的 UGC 和 PGC 内容和形式都在不断创新,对内容安全的要求越来越高,出于审核时效、成本等方面的考量,AI 在内容安全审核中的应用随之越来越广泛,其中敏感词屏蔽是最基础,也是应用最广泛的方法之一。


文本中如果有明确的色情、邪教、违法以及不当广告的专属关键词,只要命中这类关键词,内容就会被自动删除或者禁止提交。AI 算法通常会匹配好策略,被策略命中的词语会被纳入“禁止”关键词。

一些整体语义没有问题的句子,但是其中含有某些不良信息词汇、不文明用语类词语,平台不希望出现这些关键词,在用其他词代替也能表达时,那么可能会通过自动替换的方式换掉。

因此,我们在许多平台的文中看到字母缩写成**,或者莫名的符号,这类情况通常是这个词被系统自动替换。由于中文语境的博大精深,不同文字的使用和组成有不同的含义,使用 AI 审核这种方法快捷、高效、成本低,但是有时过于简单粗暴,往往会影响读者的感受度,不仅增加创作者的难度,也容易造成负面的舆论压力。

随着“鉴黄师”这一职业进入大众的视线,吸引到不少猎奇的目光, “互联网内容安全审核员”的官方职业名称也逐渐为大家所熟悉。


有这么一群人在默默守护国家的网络安全,随着当前国家对网络环境的重视,《中华人民共和国网络安全法》等国家法律法规的颁布,开展清朗网络行动,内容安全也被大大小小不同的企业所重视。无论哪个行业,只要重视用户和用户体验的企业,允许用户自行在 APP 上发布 UGC 和 PGC 内容的公司,内容安全都是必须重视的环节。

互联网上的信息泥沙俱下,数据庞大而混杂,真实的“内容安全审核”远不止鉴黄那么简单,涉及到方方面面的专业知识。每一位内容安全审核员,都要经过长期专业的培训和大量的训练,才能胜任这个岗位。有人认为 AI 的审核效率是人工是几百倍、几千倍,甚至几万倍,那么 AI 是否可以取代人工呢?大家可以看看以下案例:

案例一:


判断上面的内容是否包含违规信息?实际上,图片中暗藏变种违规广告,进一步而言,中间字连起来是一个手机号码:187816424243。

案例二:

另外还有一些邪教也会借机传播。有的邪教扭曲佛教教义,以传递表面正能量的信息吸引教徒,鼓励信徒通过在叫“小房子”的纸片上记录念经次数,并宣称烧毁后可以消灾解难,改变生活,实际目的在于自身敛财。

以上 2 个案例,大部分没有经过专业培训的人肯定是一头雾水,因为案例变种和适应颠倒顺序等方式,AI 也难以识别,机器审核通过之后需流入人工进行判断。

虽然 AI 相对人工而言成本低廉,可以不需要考虑人工薪资、人员管理、办公场地等各种问题,但由于网络环境不是固定不变的,如瞬息万变的国内外形势、不同的法律法规、人们天马行空的想法和不设限的抒发表达方式等,而 AI 相对灵活度低,审核容易过严或者过于宽松,过严会导致用户无法正常在网上活动,过松会导致无法识别危险内容,或者危险内容漏过,人工及时调整和兜底在这时就凸显出必要性。

可见,各种因素都决定了当前人工审核是无法替代的。

一些魔幻事件在2021年相继出现:


案例► 粉丝打投“倒奶”事件引热议。网络综艺节目《青春有你 3》的粉丝购买赞助商奶制品,扫完瓶盖内的二维码后就将奶倒掉。该综艺引发网友争议,目前被叫停。


案例► 多家洋酒企因“广告中出现饮酒动作”被罚。2021 年 11 月 11 日,百威中国认证注册的微信号“Hoegaarden01”,在 2021 年 5 月 14 日发布的《春日游,碰杯正当时》广告信息中含有饮酒动作的文案以及视频,被上海市静安区市场监督管理局罚款 25 万元。

2021 年 5 月 27 日,百威中国因在其注册认证的微信公众号“百威中国”、微博“百威啤酒”中发布了 2 则含有血腥、暴力、恐怖内容的广告,在其注册认证的微博“ Corona 科罗娜”、 微信公众号“哈尔滨啤酒HarbinBeer” 中发布有 2 则含有饮酒动作的广告,被上海市黄浦区市场监督管理局合并罚款 60 万元。

2021 年 10 月 26 日,保乐力加因利用微信公众号对外发布的酒类广告中含有饮酒动作,被上海市静安区市场监督管理局罚款 16 万元。

以上内容都涉及内容安全领域,互联网内容安全审核,不止是审核员在电脑屏幕前的机械操作这么简单,舆情动向、审核策略、审核标准、审核后台和工具,都对审核效果有着很大影响。

网络信息变种多,舆情变化快,即使是具有丰富经验的审核员也仍需不断学习,掌握最新的知识,培养足够的敏感性,以快速识别不良信息。

进一步而言,从业者能从大量数据中,敏锐地抓取变种数据,分析数据的共性。在审核过程中,AI 和人工是相辅相成,相互促进的。在 AI 辅助之下,敏感词识别高亮提醒、人脸识别、语音转写等方式促进人机协同,有效提高了人工审核的效率和准确率。

同时,AI 具有自身的局限性,机器学习依赖于人工的不断调整。人工在审核的过程中,从大量数据中,敏锐地抓取变种数据,分析数据的共性,不断调整机器策略,从多维度完善策略布控,在机器没有防护到的部分,如突发性的恶意“冲塔”,又或是突发舆情信息,如“倒奶事件”,亦或是触及行业法规,如“洋酒广告违规”。

这些都需要审核人员能及时接收到舆情信息,同时具备足够的敏锐度和风险意识,调动对应的专业知识,调整机器规则和审核标准,加上人工的进一步复核,协调一致,共同守护我们的网络安全。

1、大数据时代下如何用好 AI 审核,如何训练和提升 AI 效果?如何让 AI 更好辅助人工,达到人机协同的目的?对于审核人员又有什么要求呢?

2、人工审核团队的运行需要足够丰富的培训和学习体系,涵盖舆情、专业培训、知识拓展等。

3、海量的数据积累,人员能力提升离不开实践,数据挖掘和分析,AI 训练和升级也离不开海量的数据。

4、为了更高效开展每日的审核,完善的后台搭建、策略、方案必不可少,可应用于不同类型数据和行业的审核平台。

5、不断升级和完善的个人能力和业务矩阵,时代抛弃我们并不会提前打招呼,这就要求安全审核机构和审核人员不断自我提升,增加知识储备。

好的关系一定相辅相成、互相促进,这个道理放之四海而皆准。随着 AI 的不断升级,分析总结的提炼,策略的不断完善…最基础的安全审核需求中的一部分已经放心交由 AI 来完成,匹配足够人员进行“二审”或“质检”即可。

而 AI 在帮助人工提效、提高准确率与减少人力消耗的同时,也要求审核人员不断提升个人能力,拓展新的领域,除基础的图文安全审核能力之外,在直播领域、音视频、融媒体、广告法、版权审核、数据标注等复杂场景发挥更大的作用。

AI 真的会砸了“人工审核”的饭碗吗?被取代的感觉可能会给人类的自信心带来冲击,但实际上我们应该多想想如何运用技术帮助人类思考和做决策,而不是完全取代人类的自主性。

如果低垂的桃子已经被摘干净了,正确的态度或许是找更多的桃树,或向更高的桃子迈进。在更小的盘子里,用更卷的方式竞争,绝不是互联网安全的最终出路。