中文站

网易易盾 | 一站式娱乐社交行业内容安全解决方案,助力2023“清朗”合规

娱乐社交行业竞争激烈,包括社交 APP、游戏、短视频平台、直播商业、电影、综艺、媒体等线上内容,以及线下的脱口秀、相声等演出,业务和产品种类繁多、各不相同,但一个共同点在于其与内容密不可分。过去几年中,娱乐社交行业也因为一些内容负面事件而备受关注,例如平台上的敏感言论、低俗内容、虚假宣传和网络暴力等。

这些事件不仅对企业形象造成了负面影响,还对用户造成了心理上的伤害,甚至造成恶劣的社会影响。问题的核心在于,作为娱乐社交行业最大的受众之一,不设防的未成年人群体整日浸润充满虚假信息、诱导性言论、不良图片和视频的娱乐社交行业生态中,逐渐走向扭曲和变态。因此,推动娱乐社交行业的清朗化是一个长期而值得追求的目标。

最新监管政策

为了保障娱乐社交内容的安全,网信办等国家相关部门已经出台了一系列政策法规,包括《网络安全法》、《互联网信息服务管理办法》等。这些法规为内容安全解决方案的推广和应用提供了法律和政策保障。

与此同时,常态化的专项治理也在稳步推进。2022 年,“清朗”系列专项行动重拳整治网络生态突出问题,处理了 5430 余万违法和不良信息,处置了 680 余万个账号,下架了 2890 款 APP 与小程序,关闭了 26 万个群组与贴吧、停止了 7300 多家网站。


在 2023 年,“清朗”专项行动也提出了新的动向。其中之一是打击网络水军,这是指那些利用虚假账号在网络上发布大量不实言论,制造舆论影响的人。另一个动向是整治网络戾气,这是指那些在网络上发表恶意言论、攻击他人、散布仇恨等不良行为。根据历年的执法情况,“暑期未成年人网络环境整治”方向是专项行动的重中之重,也延续到了今年。

一方面严厉整治“涉未成年人”的各类有害内容和违法犯罪,及时发现处置网络欺凌行为;另一方面严管评论区信息内容,督促网站平台加强评论区管理,要求账号强化所发信息内容跟帖管理,对未做好跟帖评论管理的公众账号,采取限制功能等措施。


作为内容监管主体,娱乐社交行业平台肩负着重要的责任。在“清朗”系列专项行动中,平台主体除了要关注每年的行动重点,同时不能忽视其他的监管红线问题,尤其是低俗、不良价值观、暴恐、恶心等违法内容。只有让这些问题得到及时的治理,才能维护良好的内容生态。

01 2023 “清朗”行动,指明内容治理方向

“清朗”系列专项行动的初衷在于规范网络信息秩序,促进网络空间的健康发展。特别是对于网络信息的重点生产方—“娱乐社交行业”而言,提出了更为严格的要求。这也导致娱乐社交行业 APP 市场的深刻变革,不符合规范的APP可能会被淘汰,而符合规范的 APP 则将获得更多的发展机遇。

平台戾气管治

一些低俗、恶俗、攻击性或令人不适的内容在娱乐社交平台泛滥,侵犯到人们的价值观和道德底线。从内容安全的角度看,平台戾气治理至关重要,因为不良内容严重影响网络环境的健康和秩序,也会对用户造成心理伤害,甚至会引发社会和政治问题。

“清朗·网络戾气整治”专项行动,严管评论区信息内容,督促网站平台加强评论区管理,要求账号强化所发信息内容跟帖管理,对未做好跟帖评论管理的公众账号,采取限制功能等措施;整治直播“PK”环节问题,严肃查处主播逞勇斗狠、互撕攻击、谩骂吐脏等行为,针对部分主播逃避监管、借“小号”进行恶俗行为,对其所有账号采取统一处置措施,情节恶劣的纳入黑名单;处置网络戾气集中的版块,深入排查贴吧、频道、圈子、超话和小组等环节,对违规版块进行整改,必要时采取暂停更新、解散关闭等措施,处置版块管理员账号,坚决遏制网络戾气。

未成年人安全保障

近年来,诸如腐文化、儿童色情、抽烟喝酒、炫富拜金、不文明行为、邪教迷信、邪典死亡、灵异恐怖一类的有害信息相继找上脆弱的未成年人群体。


小猪佩奇嘴里叼着香烟,戴着墨镜,赤裸上身,手持锐利的匕首威胁旁人,显得极具黑帮气质。

迪士尼的公主与漫威英雄,被儿童视为英雄和榜样的角色肆意酗酒,甚至口吐白沫,变得毫无节制。

宣扬流血的兴奋感,诱导、煽动、教唆自杀自残等相关内容,通过画面和话术故意引起自杀自残情绪。

以宣扬奢侈拜金,极端思想、煽动仇恨、歧视和暴力为代表的行为,在短视频、流媒体上悄无声息地泛滥。类似的有害内容,由那些动机不良之人所制作。他们会利用网络和社交媒体的便利性,寻找到那些易受影响的儿童。

这些儿童可能因为年龄较小、心智不成熟或缺乏家庭关爱等原因,而易被这些人的言语和行为所侵蚀。

海量平台内容应对

在内容遍地开花的时代,企业需要审核的内容越来越多,包括PGC、UGC、AIGC等,但是审核人员的数量却很有限,难以应对海量的内容。一般而言,企业会雇佣大量的审核人员,这样可能导致审核效率低下,审核结果不准确等问题。

庞大的审核内容意味着审核人数的增加,同时也需要投入更多的时间和资源来完成审核工作。此外,审核人员的素质和能力也是审核内容能否得到有效处理的关键因素。因此,为了提高审核效率和质量,要对审核人员进行培训和管理,以确保他们能够熟练掌握审核流程和标准,准确判断审核内容的合规性和真实性。这些都将带来人力成本的上升。

审核规则制定和更新

审核规则难以制定和更新,针对不同领域的内容,需要制定相应的审核规则。制定规则需要一定的专业知识,且不同地区或国家的法律法规和社会文化也不尽相同,企业很难制定出符合所有要求的审核规则,同时规则的更新也需要花费较大的人力物力。

每年“清朗”专项行动都会更新监管重点,这需要根据不同领域的内容制定相应的审核规则。而制定规则需要一定的专业知识,而不同地区或国家的法律法规和社会文化也存在差异,这对企业来说是一个挑战。因此,制定符合所有要求的审核规则是一项具有挑战性的任务,而规则的更新也需要投入大量的专业力量。

因此,娱乐社交作为聚集最多未成年人用户的行业,在完成网络内容安全工作时,应从未成年人的角度出发,针对上述问题采取定制化的审核标准,加以全面保护。

02 娱乐社交行业内容安全解决方案

针对上述问题,易盾建议,通过全面的技术解决方案,娱乐社交行业的平台就能守住合规运营的底线,遵守相关法律法规和政策,不传播不良信息,不侵犯用户隐私,不开展违法活动,确保用户在一个健康、积极的环境中享受社交娱乐的乐趣。

(1)AI内容审核

人工智能技术在内容审核领域取得了出色的成果。通过“机审+人审”的方式,网易易盾提供全栈内容审核解决方案,帮助娱乐社交平台建立完善的审核机制,对 UGC 内容(用户发布的内容)进行基于平台标准的审核。


从媒介形式来看,文字、图片、音频、视频等各种形式都是现代社交媒体中常见的形式。他们使得社交媒体具有更加丰富的表达方式,但也让审核更加困难。例如,与文字相比,音视频内容技术审核要求高,完善审查机制耗费较大人力财力,但这并不代表一筹莫展。

从场景来看,用户资料、动态等公开场景是社交媒体中最常见的场景。在这些场景中,用户可以展示自己的个性、兴趣爱好、生活状态等,与其他用户进行互动和交流。

从问题来看,娱乐社交行业存在着一些不良内容,如色情、低俗、恶俗、攻击性、历史敏感性、暴恐、血腥等问题,会对用户造成不良的影响,甚至会引发社会公愤和道德争议。

(2) 人审“铁军团”的搭建

AI 机器审核可以帮助运维者快速剔除大量确切违规内容,对内容进行自动审核和分类,但仍需要进行人工审核。为此,人工审核在娱乐社交企业的人审机制建设中必不可少。易盾充分利用其人审资源,全面参与到该机制的建设中。


在标准设计环节,对于一张人像图片,机器审核可以根据肉体裸露的程度进行判断,但实际上信息的表义并不简单。例如,“性感”这个词该如何定义?全无裸露的人体是否能通过场景与动作的表达达到人们对“色情”的认知?

那么,定性标尺就掌握在网站运维者手上,各社交平台的人审责任制也因此诞生。网易易盾根据经验和法规,协助企业快速建立全面的审核标准矩阵,完成“清朗”专项行动的各种要求。

在人工审核培训环节,为了适应每年的监管和舆情变化,易盾搭建了具备多年内容安全经验的审核培训人员,不仅负责监控产品的内容风险点,还会不断基于法规、舆情提取审核规则,更新和完善内容风控标准体系。举例而言,培训内容包括如何杜绝拜金主义、封建迷信、娘炮、耽美、极端饭圈等不良文化,以及坚决抵制有错误倾向的价值观、淫秽低俗、血腥恐怖等内容。

人工审核执行环节,易盾在全国多地搭建了专业审核团队,审核人员经过网信办等培训,持证上岗,为企业提供高效、准确、安全的人工审核服务。团队不仅拥有严格的审核标准和流程,不断提升自身的审核能力和水平,能够快速识别出各类违规信息,如色情、暴力、恐怖主义等,确保企业的内容安全和合规。此外,易盾还不断优化审核流程和技术手段,如二审、三审、多审等,提高审核效率和准确率,为企业节省时间和成本。

(3)智能审核平台

智能审核平台人机协作是一种先进的人机协作审核方式,它将人类的智慧和机器的高效结合在一起,实现了审核工作的高效化和精准化。通过这种方式,审核人员可以通过人机协作的方式,快速、准确地审核大量的信息,从而提高审核效率和准确性。同时,智能审核平台还可以通过机器学习和人工智能等技术,不断优化审核算法,提高审核的智能化水平,为用户提供更加优质的审核服务。


平台数据提交:将内容数据团拆解为一条文本、一张图片、一段音视频,并打上定制化字段,如昵称、头像、签名、标题、封面、内容、话题,在审核页面展示。

融媒体合并审核:同一场景下的文本、图片、音视频文件,相互关联进行判断,达到“所见即所得”的全方位无死角审核。

(4)内容风控辅助

首先是,用户投诉和举报机制。正所谓“众人拾材火焰高”。让用户方便地举报不良内容和行为,投诉和举报的流程应该简单明了,补充平台的“免疫力”。


其次是,内容安全蓝军。易盾将会以用户视角,对内容采用检索、遍历等方式,主动巡查最新风险样本、冷门风险样本等内容,输出产品巡查报告,帮助客户知晓产品风险状态。

03 打造安全、有责任感的婚恋社交

最近,网络空间的治理行动正在逐步推进,其中陌生人社交作为娱乐社交行业的重要组成部分,也在向着健康、积极的方向发展。某一款互联网婚恋交友 APP,让单身男女通过文字、语音、视频等多种方式与同城附近的异性进行聊天和互动,已经吸引了超过一亿的用户,让他们在这个平台上快速结识新朋友。


该婚恋交友 APP 通过与网易易盾合作,成功提高了平台的内容安全性和用户的使用体验。现在,用户可以更加放心地使用这个 APP 来寻找自己的另一半或结交新朋友。与此同时,平台也能更好地保护用户的隐私和个人信息,避免出现不必要的风险和麻烦。

根据该 APP 的场景及需求,易盾设立专项完成优化方案:一是,确定了四档风控等级,通过分级制度更好管控内容服务。二是,根据日常运营需求,灵活定制内容监管策略。三是,为违规问题匹配定制化标签,确保审核数据结果一目了然。

AI 机审快速审核:起始于源头,敏感词检测通常被视为第一道屏障,其结合智能语言模型可实现文本的二次识别。易盾针对敏感信息设置了敏感关键词、策略规则组合、语义模型等多项手段,以实现对垃圾内容的实时预警和拦截。

新进用户身份把关:进行风险审核时,不可避免需要对新用户进行综合评估。该产品通过易盾全面的用户真实性验证服务,包括分析用户行为、设备 IP 等信息,评估用户是否存在黑灰产风险或虚假账号,并在最小化使用个人数据的前提下,满足个人数据隐私合规要求,以实现用户身份的验证。

当下,内容审核已经不再只是简单发现和删除不良内容,而是在于自信区分出高风险的访问者,并且持续跟踪各种内容风险,这已经成为平台每天必须要面对的问题。而网易易盾的一站式解决方案,不仅接入简单,效果显著,已经被许多头部娱乐社交公司所采用。