中文站

内容安全应该自建吗

一则新闻

近日,全国“扫黄打非”办公室为贯彻落实2019年“扫黄打非”专项行动和第三十二次全国“扫黄打非”工作电视电话会议精神,从3月起开始大力组织开展“净网2019”、“护苗2019”、“秋风2019”等专项行动,持续净化社会文化环境。

“净网2019”专项行动,将聚焦整治网络色情和低俗问题,通过强化司法打击、行政管理、行业规范、道德约束等多种手段综合施策,综合治理。

“护苗2019”专项行动,着重强化网上网下两项整治,坚决查办涉未成年的“黄”“非”案件。其中,将强化对未成年人接触较多的互联网应用的整治,特别对网络短视频、游戏、漫画、学习类APP等领域加强清理,坚决遏制色情、低俗、暴力、恐怖、残酷等有害信息传播。

楔子

看到这则通知后,A内容平台的技术总监“安”陷入了深深的焦虑中:

上次,因为低俗问题被监管部门勒令整改后,“安”被老板批评:“这种问题一而再再而三地发生,如果你再解决不了,后面你就不用来了。” 

CTO“全”站在旁边,堆满笑容而又尴尬地圆场:“失败乃成功之母,再说长城不是一天建成的。经过这几次,我们准确率、召回率又得到了提升,相信再过三个月,就能达标,不出内容安全事故。” 

“全”侧脸对“安”说:“你们这三个月就997了,尽快达标。” 

老板并没给好脸色,而是没耐心地说:“你们申请什么,我就给什么。人力、物力投入那么多,而且也都一年了,效果仍就那样。再有事故发生,不止是“安”,连你CTO也要担责。” 

……

新一轮的专项行动开始了,这次谁也说不准会不会出现问题。如果出现了,自己又该怎么办?“安”有点难安,他熄灭手机屏幕,抬起头,眼睛飘过工位,望向细雨蒙蒙的窗外,回忆起这一年抗战:

面对内容安全问题,一开始我们并没有当回事,以为只是“算法问题”。招几个算法,以及调几个技术实现过来就能搞定。 

然而想象很美好,现实却很残酷。人员一招扩招,物力一投再投,效果达到一个数值后,就一直得不到明显的提升。 

就拿鉴黄来说,经过这一年的努力,特征明显的色情问题能勉勉强强处理,但是另外一个槛却怎么也绕不过去,那就是低俗问题。 

比如说,经常有一些吸睛的图片,像这样: 


这样: 


……

这类图片要说违规吧,其实不算。但要说是不违规吧,影响却不好。

这种低俗图片,会引起不好的联想,影响青少年身心健康。更重要的,这也不符合社会主义核心价值观,影响内容平台打造积极向上、充满正能量的氛围。有些内容稍有漏网之鱼,就会触犯国家的法律法规。

而且,这些图片非常容易打擦边球,打上一些广告或色情暗示的水引,让人防不胜防。

有些用户嫌我们这里的用户体验不好,已经跑到B平台上了。 

我们的运营总监“找事”每次吃饭或开会时碰面,都和我吐槽:“用户体验不好,拉新和留存难做呀。”那个“呀”的音拉的有点长。 

“找事”每次都看似无意地说这话,然而笑吟吟的脸上,一旁的肌肉却是僵硬的。

“安老大?安老大?安老大!”耳边突然响起一阵轻柔、稍显疑惑的声音,“安”回过头来,发现原来是部门助理“心”。

也不晓得她站在边上有多久了,忙不迭地说:“怎么了?”

“心”说:“你上次让调研第三方专业的内容安全服务,我看了几家,其中有一家有二十多年的技术沉淀和大品牌背书,我简单地沟通了下。他们后来说,要是方便地话,可以上门聊聊。”

“安”转头沉吟了一下,窗外依旧斜风细雨。年后归来,连续下了十几天的雨,终日不见太阳,这样的天气让人难受,心情愈发低沉。

也不晓得是什么触动了他,安精神略微一震,似乎在下定决心,或许也是觉得久而不答不好,干脆地说:“那聊一聊吧。”

恍然大悟

一周后,内部管理层会议上,“安”站在会议桌前,后面的大屏幕投着一个PPT,下面的是公司各个口的高管,包括老板、“全”和“找事”。

“安”咽了下口水,似乎在下定决心,也可能真的只是在咽口水。两秒后,他开口说到:“对于内容安全问题,建议采用第三方专业的内容安全服务,我下面内容安全组的人,建议一部分保留,对接第三方专业的内容安全服务和维持内容安全服务;另一部分则建议回归业务线,专注于业务创新。”

他随后给出了几个理由,身后屏幕上的PPT也跟着翻动起来。其中一页印着“网易易盾”蓝蓝的Logo——“E”,以及它的Sologan“智能高效的安全防护体系”,稍作停顿后,这页PPT又一闪而过。

他说,内容安全系统并不好开展,主要是其海量的数据往往只有BAT以及网易这类的大公司才有——尤其是和内容型相关的数据,这就导致像我们这种中小公司开发出来的内容安全系统效果不好,对内容安全问题“后知后觉”。

其次,内容安全团队一旦组建运作,对于中小企业来说是一个无底洞。随着业务和形态的发展,以及黑灰产攻防的升级,需要不断投入大量人力、物力。而即使其两者都能满足,是否有足够量级的模型库用于训练,训练后效果能否达到预期?而在数据之外,又涉及到另外一个难题——中文博大精深,双关、同音字、多音字等都比较复杂,中文的文字结构与语义复杂性使得垃圾信息与衍生格式变化多端。

最后,国内对于色情内容的界限相对模糊,鉴黄的难度也随之增加。就比如说露乳沟、露大腿,到底到什么程度才算是低俗?主播舔东西到什么界限,才触达“违规”标准……这些的这些,都需要去界定和特征提炼。

“这对于我们这样体量的公司而言,不值得在这些上面做投入。”

“安”接着说:“我们始终无法解决的低俗问题,专业的第三方内容平台早就有解决方案。就拿我上几天沟通的网易易盾来说,他们就低俗早就做了概括,比如说腿部裸露、臀部展示、挑逗类、分泌物、情趣用品……整个内容安全,他们做了数十大类近千小类的分类。”

“而在解决方案背后,是网易易盾得天独厚的自身内容型数据和服务数千家客户的积累,从舆情、策略分析、运营规则、标注以及人工智能等领域不断深入、打磨,把标准层面的东西一点点确定出来。”他紧接着强调,“这不只是算法的问题。”

“安”眼睛环顾了一周后,眼神停留在“找事”身上说:“在这个过程中,易盾还把主播嚼冰块、露大腿等不违规,但和色情擦边的行为提取特征,训练模型实现‘命中’,并在内容系统后台中提交给客户,由客户在系统中决定到底要不要删除。”

天气放晴了

天气有点反常,下雨、阴天长达一个月后,天空才开始久违地放晴。

部门助理“心”来到“安”的工位牌提醒说:“和网易易盾的合同签订时间是在下午14点,‘光明顶’会议室。”

“那个……”说完后,“心”欲言又止一会,随后又试探性地说:“确定签吗?你的个人发展会不会……”

“确定签!这条路行不太通,与其拖着,还不如及早转型。”

“安”又压低了声音对“心”说:“内容安全这块工作,很难做。一个是业务的发展和内容安全中间的度很难把握。其次是,做的好,大家觉得是应该的,然而一出事故,就要背锅,还不如让手下的这帮人聚焦于业务创新。”

“我们测试了一段时间,有第三方专业的内容安全服务进来就好多了,用户体验和用户过来的反馈也得到了提升。”

“好多了,好多了,好多了!”“安”喃喃自语了三小声。窗外初春和煦的阳光照进来,“安”头上的白头发似乎也少好多了。

点击免费试用网易易盾内容智能审核管理系统