中文站

作为无所不在的互联网内容“守门员”,AI如何炼成火眼金睛? | 机器之心最新报告亮点解读

当今世界,人工智能 ( AI ) 已是下一次技术革命。在全球范围内,各行业对 AI 的应用正在快速上升。根据 2021 年麦肯锡全球人工智能调查,56% 的受访者表示其企业至少在一项职能中采用了人工智能技术,高于 2020 年的 50%。


对于企业而言, AI 亦在内容风控中表现出日益突出的重要性,尤其是作为把控海量内容安全度的工作。具备强大的机器检测能力,就能高效审核图、文、音、视信息,用技术实力全方位守护产品的内容安全,保障业务在安全合规中稳步发展。

为进一步分享技术在内容风控中的参与度,《数字经济时代, AI 加持下的技术与业务创新—人工智能应用实践白皮书》于近期正式对外发布,该报告由网易智企携手机器之心联合打造,其中“ AI 加持下的内容风控技术”篇章结合了易盾多年的“内容风控”技术沉淀和实践经验。

报告透视 AI 技术搭建的全过程。网易易盾资深算法专家李雨珂博士表示,易盾 AI 技术团队从工作中遇到的实际问题与业务挑战出发,围绕技术创新提升“数字内容风控”服务核心竞争力的话题,分享在这个领域内积累的 AI 技术应用经验。长远来看,不只是效果优化,训练自动化,更是实现感知到认知的进化。

Q: 本次报告中的技术分享有哪些侧重点?

A: 从 AI 实现步骤和细节的角度来看,这份报告较全面地覆盖了数据、模型、算法、解决方案、部署与加速等 AI 系统的各个环节,深入细致地探讨了每个环节的研究、创新与思考。以应对业务挑战、解决实际问题为导向,报告分享了如何从实际场景中尽可能全面地发现问题、细致地优化各个模块。实现 AI 技术创新与解决实际业务问题在多个层面联动,很可能是提升技术核心竞争力的重要因素,也是缓解 AI 技术实际落地困难的关键点。

从数字内容风控服务应用的角度来看,本报告的侧重在于如何通过 AI 能力,赋能企业更好地应对内容风险挑战,切实完善地为客户提供全链路的内容安全保障,助力客户内生成长。

Q: 本次报告对 AI 将如何应用于语言、视觉、听觉有何看法?

A: AI 在各个领域已有较广泛的应用,在此过程中,很多厂商积累了生产资料(数据、算力等)、专业人员(技术、产品、解决方案、销售等),并构建起了供应链渠道,取得了相关的实践经验,也发现了部分问题。相信未来会有更广阔的应用前景、更良好的发展预期、更加安全的应用过程,稳定地在语言、视觉、听觉等方面取得应用。

具体而言,语言、视觉、听觉是基本的信息传递媒介,对于这些信息的智能化处理也会是一种基本诉求。同时, AI 的应用在很多场合意味着智能、效率、速度、节能、稳定甚至是创造,这些与行业的追求相契合。

与此同时,语言、视觉、听觉相关的 AI 技术在学术界已有一定的方法积累,一定程度上能够解决一些现实问题,如何找到适合的实际场景和应用要求,通过优秀的方法构建出相对标准的技术能力并实现产品化,是产业界潜在的工作内容。

最后,感知类 AI 技术的研究与应用会是一个良性循环的过程, AI 技术的三方面主要为数据、算法与算力。三者互相促进,螺旋上升,例如,优质的数据训练出良好的算法模型;良好的算法模型反过来能帮助获取更优质的数据;充足的算力能够为算法的创新留下更大的空间,但同时算法的创新反过来也能降低算法对算力的要求。

AI 担任数字内容“清道夫”

数字时代,信息大爆炸,每天都有数亿张图片、帖子、推文、博客、评论、推荐、评论、视频在网站和其他渠道上被创建和共享,横跨社媒、电商、金融等行业。

上述许多内容是由这平台用户生产的,却不能放任不管,因为其中可能包含潜在的有害恶意内容,例如辱骂、色情裸露、谣言、恐怖血腥或其他不受欢迎的内容。为了保护用户的基本权利,审核、过滤和删除势在必行。

时至今日, AI 正在对数字内容审核产生巨大影响,带来人类无法企及的速度与准确性。通过过滤可疑内容, AI 协助人类完成人工审核,从而防止内容审核团队不得不检查用户发布的所有内容,并减少人类接触令人不安的内容的时间。

AI 决策的背后,值得一提的是深度学习和规则体系。这些规则定义什么可以接受,什么不能接受,使得算法逻辑的透明度大幅提升。受此影响,在标记互联网内容问题方面,人类对 AI 的信任正在提升

在此背景下,易盾致力于搭建新一代内容风控技术,不仅需要能够稳定、高效地在海量的互联网信息中使用 AI 算法快速识别出有害信息,还需能够灵活地在未知的内容形式中进行筛检。技术团队结合人工智能领域技术趋势,以实际识别效果为基础,从快速识别、敏捷响应、低资源消耗、场景泛化等四个层面出发搭建了新一代数字内容风控系统。

与手动内容审核相比,自动化内容风控技术,实现了快速、无误且准确的内容审核的同时,帮助大量企业和公司在其内容审核中使用人工智能来摆脱垃圾内容,确保文字、图片、视频、社交媒体或任何其他地方的每个内容都遵守平台规则和国家政策。


以汽车社区为例,消费者对汽车的了解、讨论、对比与购买汇聚在一个数字平台内开展。平台内的信息量激增,在此之上,易盾团队通过“ AI 机器检测系统”与“智能审核管理系统”相结合的技术方案,助力构建了人机协同审核模式。

AI 机器检测系统为用户账号、PGC 文章、短视频、用户评论、音视频直播等众多业务保驾护航,帮助全面、快速、高效的发现风险内容,并针对违规内容进行封禁。

智能审核管理系统的部署则帮助汽车之家的审核团队提高审核效率和准确度,同时帮助管理团队统计违规内容数量和审核人员的表现,实现了协同一致,灵活高效的服务动态管理的目标。

通过机审自动化处理大部分数据,再由人工审核对机器审核的标注结果处理,汽车社区完成了对海量历史数据的有效检测,并对其高并发直播业务建立了高效的审核机制。

“内容风控”关键难题的技术攻坚战

AI 在“内容风控”中的落地也并非一帆风顺。每一个线上社区,各种功能分区及犄角旮旯的内容治理,都面临几大难题:内容隐患高、审核人力匮乏、复查效能低、风险变种快,垃圾 UGC 内容阻塞了线上生态的“毛细血管”。

用于内容审控的 AI 技术,有望助力打破传统“以人为主”的审核模式局限,大幅提高效率,助力线上平台实现深度管理。在技术工作者的眼中,挑战和难点则更为具体:

如何在保证 AI 服务效果的前提下,更敏捷地快速响应内容风控中遇到的新类型、新需求;更高效地降低内容风控 AI 能力生产过程中的资源消耗;更稳定地优化内容风控服务系统的响应速度与并发能力;更完善地提升内容风控服务系统的场景泛化能力

让“大海捞针”成为可能

“有害内容数据占比极低”是内容风控任务的一个重要特征。技术团队如何在海量的数据中筛选出占比可能只有万分之几、十万分之几的有害信息,进行快速识别?

为了系统性地解决这个难题,易盾团队打造了内容风控系统多级动态推理方案。该方案模拟应试策略地思路,即当卷面的简单题目占比高、难题占比低时,智能调整计算方案为“先易后难”的应试方式,在保证"拿高分"的同时保证答题的“速度”。该方案由任务级动态推理、网络级动态推理、以及数据级动态推理等三个子技术方案构成。

少消耗多办事

内容风控领域面向海量的互联网数据,特点是数据多、类型多、标签多、场景多、定制多、任务多。如果"面面俱到"地进行数据标注,将产生一笔非常大的开销,甚至直接影响研发周期。

易盾技术团队综合地从数据生成、模型打标、人工打标三个角度出发,进行了全面的低资源消耗优化,成功形成无监督冷启动的数据生成、基于跨任务融合的数据增广、基于师生互动多任务级联半监督学习的模型打标、以及基于多目标主动学习的有效人工标注等四个在降低资源消耗方面行之有效的技术方案。

随业务应变

内容风控领域面临三个涉及敏捷响应的问题。首先,算法模型难以保证百分之百的精确识别,需要在出现样例漏识别的情况下进行查漏补缺;其次,不良和有害内容的类型层出不穷,在业务上经常要新增识别类型;最后,由于互联网不同类型产品之间内容形式的差异性,算法识别会存在领域适配的问题。

有害内容一旦漏过,将对相关业务造成持续性的损害。因此,内容风控业务对于 AI 识别系统的快速响应能力具有非常严苛的要求。易盾技术团队针对这些特性设计了一套完整的敏捷响应技术方案,包括基于深度特征检索的目标样例模糊匹配方法、基于动态特征拓展的新类别增量迭代、和领域迁移学习的场景适配等三个子技术方案。

网易智企的 AI 技术团队是如何做的?

内容合规的技术开发方法,深度学习专项识别能力的培养,以及技术在规模化企业中的落地应用,您将在本报告中找到答案,从 0 到 1 搭建技术体系。滑动查看完整目录,扫码下载完整报告>>>