中文站

如何制定合理的内容审核标准?

对于资讯类产品和内容产品来说,内容审核是必不可少的环节之一。“人机协作”的互联网内容审核机制为不少网络平台提供了便利,但是没有标准,审核就无从谈起。对于互联网产品而言,搭建一个健康、有趣的UGC内容生态,高效智能机器、训练到位的审核人员、合理的审核标准,缺一不可。那么,如何制定合理的审核标准?

本文与网易易盾资深审核管理者进行探讨,重点介绍了审核标准的形成过程以及必要参考依据,为互联网产品的审核标准制定提供一些借鉴。

Q1 如何制定基础标准?

一般性的审核标准,根据国家的法律法规以及相关政策为基础,例如根据《互联网信息服务管理办法》第十五条 互联网信息服务提供都不得制作、复制、发布、传播含有下列内容的信息:

1、 反对宪法所确定的基本原则的;

2、 危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一的;

3、 损害国家荣誉和利益的;

4、 煽动民族仇恨、民族歧视,破坏民族团结的;

5、 破坏国家宗教政策,宣扬邪教和封建迷信的;

6、 散布谣言,扰乱社会秩序,破坏社会稳定的;

7、 散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的;

8、 侮辱或者诽谤他人,侵害他人合法权益的;

9、 含有法律、行政法规禁止的其他内容的。

根据上述要求,一般将标准分为四大类:涉政、色情、违禁、暴恐;此四类标准为底线标准,在任意产品场景下都需要进行处理。

另外根据2019年1月9日中国网络视听节目服务协会公布的网络短视频内容审核标准的100条细则,网络播放的短视频节目,及其标题、名称、评论、弹幕、表情包等,其语言、表演、字幕、背景中不得出现以下具体内容(常见问题):

(一)攻击我国政治制度、法律制度的内容;

(二)分裂国家的内容;

(三)损害国家形象的内容;

(四)损害革命领袖、英雄烈士形象的内容;

(五)泄露国家秘密的内容;

(六)破坏社会稳定的内容;

(七)损害民族与地域团结的内容;

(八)违背国家宗教政策的内容;

(九)传播恐怖主义的内容;

(十)歪曲贬低民族优秀文化传统的内容;

(十一)恶意中伤或损害人民军队、国安、警察、行政、司法等国家公务人员形象和共产党党员形象的内容;

(十二)美化反面和负面人物形象的内容;

(十三)宣扬封建迷信,违背科学精神的内容;

(十四)宣扬不良、消极颓废的人生观、世界观和价值观的内容;

(十五)渲染暴力血腥、展示丑恶行为和惊悚情景的内容;

(十六)展示淫秽色情,渲染庸俗低级趣味,宣扬不健康和非主流的婚恋观的内容;

(十七)侮辱、诽谤、贬损、恶搞他人的内容;

(十八)有悖于社会公德的内容;

(十九)不利于未成年人健康成长的内容;

(二十)宣扬、美化历史上侵略战争和殖民史的内容;

(二十一)其他违反国家有关规定、社会道德规范的内容;

根据细则描述,在涉政、色情、违禁、暴恐四大类的基础上,对违反《中华人民共和国英雄烈士保护法》、倡导历史虚无主义、违背公序良俗、不能正确引导未成年人正确价值观等内容需进行处理。

Q2 根据不同产品的特性,如何调整标准尺度?

目前,互联网产品种类繁多,如果全部按照相同的执行标准,势必会影响到产品的使用体验。在基础标准的前提下,还需针对不同产品的特性进行标准定制化。

以社交UGC类产品为例,大部分存在着“不正当”交友、恶意或低俗段子博关注等低俗内容,往往涉及性暗示、性挑逗。

恶意段子博关注案例:

“十年前的5月,一个人赞了我,他娶了年轻貌美的女朋友。去年的5月,另一个人赞了我,他中了500万。今年的5月,赞了我的人都娶了年轻貌美的姑娘结婚那天中了500万。别说我不够意思,话已经放这里。”

低俗段子博关注案例:

“一天我和一位女同学一起打游戏,我玩奶妈我拿了五杀,这个时候我给这位女同学说你看我屌不?女同学思考片刻:不看。”

“不正当”交友案例:

“有没有小姐姐,约吗?”

性暗示案例:

“八级大狂风”(倒着读有猫腻)

“坐下谈人生”(倒着读有猫腻)

性挑逗案例:

“我这人什么优点也没有,就是比较善解人意。”(谐音违规)

在某些场景下,上面的文字属于正常内容,但是处于社交环境下,再加上中华文字博大精深,难免让人产生联想,而在聊天过程中,“约一约”、“约吗”这些朋友之间常用的相邀词汇,在某些时候会产生约炮等低俗意味。

这些内容的处理标准是并未包含在基础标准里,要根据产品特性、业务场景来调整处理尺度,处理过严了会引起用户体验的下降导致用户流失损害产品利益,而放任不管则可能引来监管方面风险。

与此同时,在社区类产品中,避免不了出现不同粉丝群体之间的互相撕逼、谩骂、恶意举报等,如果一巴掌拍死也会引起上面提到的风险和危害,如何寻找到处理标准的平衡点,不仅借助于审核经验,还得顺应产品特性,相互结合进行考虑。

Q3 根据事实热点,如何及时更新标准?

根据产品特性和使用场景进行标准补充,仅仅是其中一步,并不意味着标准制定的结束。根据最新的时事热点以及国家政策法规的颁布,我们要及时完成标准的更新迭代。

例如,在18年5月颁布实施《中华人民共和国英雄烈士保护法》后,对于英雄烈士人物不允许出现恶搞和诋毁,以前经常出现的李大钊、雷锋、董存瑞的恶搞段子均需要处理,需要审核不仅对线上新增的违规内容进行处理,同时对历史已存在的数据也要进行回捞。

又或者在近期有热点事件时,注意借机进行误导舆论,抹黑他人从而达到不良目的内容,例如,在美国发动贸易战后,为了给自己带来更多流量和博取关注,借助美国的制裁措施大做文章,发表煽动性言论或不切实际的谣言,从而给社会带来不良影响。

此类信息在社交和社区类型产品中经常出现,因此需要审核团队在执行标准的过程中时刻注意到政策法规的变化以及舆情热点的爆发,及时完成标准的补充,调整审核的侧重点;完善此类标准,一个强大的舆情信息来源和丰富的审核知识储备是必不可缺的因素。

Q4 审核伴随哪些常见标准问题?

在日常审核中,遇到较多的标准问题都是因为主观判断不一致导致,因此在制定此类标准时需要较能准确区分的方式进行说明。

例如,对交友类型业务的头像进行审核时,为了让用户能有更真实的体验,对头像上传的照片要求不能进行过多遮挡,每个人对于“过多遮挡”的定义并不一致。因此我们对面部遮挡的范围进行明确说明:遮挡不能超过面部二分之一、三分之一等要求,而按照实际情况来看,即使满足遮挡要求也可能会出现不符合体验的情况。

案例一:


面部遮挡未超过三分之一,但因部分眼部被遮挡,头像无法辨别真人,头像不通过审核。

案例二:


面部遮挡超过三分之一,但可以清楚辨别真人,头像通过审核。

结合上述案例,在规则制定时针对主观判断标准,除了提供明确判断依据以外,还要结合标准的特性进行补充说明,例如明确说明头像中五官的判断情况;在判断口头禅还是辱骂词语时,结合上下文语境,判断其中词语是否具有指向性,等等。

总的来说,审核标准的制定要从审核执行角度出发,如何将监管要求和产品特性相融合,让审核人员能够更加高效的理解并落地。对此,标准的制定者需要慎重考虑。

同时,作为执行的审核团队人员,要求具备足够的知识储备和理解能力,能够通过标准执行的过程及时发现不合理的地方进行反馈,协助完善标准的更新迭代,形成标准环节的链路闭环。

去年,网易易盾审核团队参与编写了《互联网内容审核职业技能等级标准》、《网络与信息安全管理员国家职业技能标准》等行标与国标。人工审核团队依靠20年行业经验,在内容审核领域具备支持审核策略个性化定制,满足业务特殊需求的能力,并具备完善的舆情培训体系,及时调整落实最新监管政策,预防风险发生。