中文站

当鉴黄师是怎样的体验?

随着移动互联网的飞速发展,网络上涌现出海量的文本、图片、语音和视频信息。

在这个流量就是金钱的时代,“黄色内容”自带流量,于是就有不法分子想借此走捷径,达到一些不可告人的目的。

而“鉴黄师”的职责就是净化网络中的涉黄内容……

说到鉴黄师,有些人表情就开始丰富起来……


我的同事也这样,表情扭曲的样子像是期待,又像是无奈……

为了刺破吃瓜少年的幻想,还鉴黄师一个清白。胡拉哥采访了一位资深的鉴黄专家,帮我们揭开内容净化的神秘面纱。说实话,我看他消瘦的样子,一定很累吧。

1.工作累不累?

我们每日审核的内容数量在亿级规模,因此完全交给人工鉴别是不现实的。当前主流的做法是采用“机器+人工”的方式。首先利用算法过滤掉大部分内容,之后交给人工判断。在算法越来越成熟的条件下,我们的工作相比之前轻松了许多。

2.算法鉴黄是什么?

利用机器学习技术“训练”出一个“算法模型”,或者说是AI鉴黄师通过打好标签的数据告诉机器哪些内容涉黄,哪些不涉黄。这样一来,算法模型可以自动总结出涉黄的特征(如下图所示)。


顺便说一下机器鉴黄的好处:一是效率高,可以实时检测用户上传的内容;二是检测结果客观,不受情绪影响。

3.鉴黄难不难?

下面我举几个例子来解释一下当前面临的一些挑战。

(1)可能涉黄的主体多样化。包括真人、动物、卡通、艺术等。算法模型需要针对性地考虑各种可能涉黄的主体。

以卡通为例,人物线条简单且比例失真,这些因素会增加算法判断的难度。

(2)色情内容没有绝对的标准。大致分为露点和不露点两类。前者识别起来相对容易。而不露点的内容在色情和性感之间的边界是模糊的,因此识别起来比较困难。

(3)“非通用”色情内容不好判断。以情趣用品图片为例,直观上它的危害程度不及通用色情。但是如果一个面向青少年的APP每天都在传播各种情趣用品图像,我们鉴黄师显然不能袖手旁观。


这种类型的难点在于容易误判:一方面和情趣用品外形相似的物品很多,比如某些儿童玩具;另一方面用户产生的内容中情趣用品的占比太少(大约百万分之一),如果审核严格一些,就会带来较多的误判。

(4)用户对抗。当用户上传的内容被鉴定为非法内容时,他们会采取技术手段突破算法的审核。常用的技术是用修图软件(例如Photoshop)遮挡部分内容,从而绕过算法。更高级的方法是利用机器学习技术,以己之矛攻击己之盾,通过增加人类不可见的噪声(但机器可见)来欺骗算法。

下图利用机器学习的方法给左边的熊猫增加了一些噪点,得到了右边的熊猫。人眼无法察觉左右两张照片的区别,但是算法模型却把右边的熊猫误认为长臂猿。


4.工作开心吗?

我们用技术创造一个干净和谐的互联网环境能带来职业上的成就感,但是解决问题的过程常常是痛苦的。

例如需要定期收集人工审核员的反馈结果,然后讨论一些极端案例。这些内容往往超越普通人的理解,会引起内心的极度不适。


内容审核的工作看似容易,实则要求超越常人的心理承受能力。他们每天被迫观看大量恐怖、色情和凶杀图片及视频,很多人患上了心理后遗症——经常失眠、做恶梦、脑子里充满图片和视频内容。

国外有一名内容审核人员描述了浏览这些暴力、色情和令人不安的内容给她留下的情绪损伤和心理影响,她说:“当我从MySpace离开的时候,我大概有3年的时间不肯和人握手,因为我觉得人们都很恶心。我无法触碰别人。”她称,世界上最普通的人也都是TM的怪胎。“我从那里出来的时候对人性感到厌恶。我的同僚们,大多数也和我有一样的感觉,我们都对人性留下了可怕的观感。”

鉴黄“内容审核”行业的冰山一角,“暴力、政治、违法”等敏感内容都在监控范围内。网络内容犹如一片茫茫的数据海洋,其中暗流涌动,如何实现有效、高效拦截?

“靠人力堆砌”、“不需要太多专业技能”、“职业赛道发展狭窄”、“无情的盯屏机器”、“昼夜颠倒”、“精神污染”是这个行业留给许多人的印象。不过,传统鉴黄师靠的是肉眼,如今他们可以依靠技术。人工智能的发展,正在改变这一切。

第一,节约了大量人工。UGC产品审核量大,人力成本高,易盾智能审核管理系统辅助人工审核、质检,支持全面的文本审核、图片审核、视频审核、音频审核,大大提高内容审核效率。

第二,改变了从业人员的职能。易盾智能审核管理系统具备多样的拦截策略配置,包括智能关键词、智能规则、高频规则、文本特征、联系方式特征。未来,内容审核员能够将重心放在观察和分析上。

第三,拓展了审核范围。易盾智能审核管理系统支持全面的文本审核、图片审核、视频审核、音频审核。此外,智能系统能够审核多部门、多平台发布公开内容,严格规范信息发布流程,审核流程可溯源、审核结果可统计。

来源:“生活研究生”微信公众号 ,作者胡拉哥