中文站

已有 2000+ 教育类平台和APP被罚,数字内容风控不容忽视

近日,公安部在京召开新闻发布会,公安部网络安全保卫局副局长李彤表示,针对一些网课平台和教育类APP存在低俗视频链接、有害信息等问题,公安部门全力开展网课平台和教育类APP的安全检查、集中整治违法违规网络平台、动员网民群防群治、依法打击各类涉中小学网课违法犯罪活动。在在过去4个月的“中小学网课网络环境专项整治”行动期间,共排查属地教育类APP和网课平台4900余款,行政处罚423款,责令整改1058款,下架636款。

互联网普及的今天,越来越多青少年群体受互联网影响,他们在网上上课、查阅资料等,对学习有所帮助,但网上信息良莠不齐,不少平台为了追求流量,迎合受众,充斥着大量的低俗、宣扬拜金、攀比等等不良生活方式和不良价值观的作品,也有的平台利用算法推荐技术,在不区分用户的情况下,将这些不良内容推荐给所有人,传播错误价值导向,对于青少年竖立正确的价值观非常不利。为青少年营造清朗的互联网环境,已经成为全社会的重要课题。

内容风险复杂多变、防不胜防

特殊风险内容通常以图、文、音视频等富媒体形式进行传播,其中不仅有一部分别有用心群体的蓄意抹黑破坏,也存在UGC内容产出过程中用户的无心之失,而对于平台和APP运营方而言,数字内容的风险全天候存在且防不胜防,即便投入大量资源也难以有效应对,一旦触及红线后果则不堪设想。

针对内容风险,易盾能提供什么帮助?

网易易盾从场景、技术、合规三个方面出发,构建了全方位的数字内容安全框架,助力企业打造“清朗、有序、融合”的网络空间。当前,易盾提供多个维度、场景化的内容安全解决方案,客户既可以根据文件类型、使用场景等需求独立部署,也可以选择智能审核平台,并支持人工审核辅助策略对数字内容进行高标准风控。

审核策略

无论是推荐内容还是常规发布内容,核心仍然是源头,首先作为平台需要对于每日发布的海量信息加强管理,加强信息发布阶段的治理投入,防止不良信息出现。其次,平台需要根据不断变化的监管要求,具备迅速响应、执行的能力。

易盾目前对于发布内容采用内容三审制,一审是指基于网易20多年的大数据积累,借助NLP技术、上下文语义识别、人脸识别、行为识别等技术进行识别模型训练,通过模型对于内容进行高、中、低危打分评级后,初级审核人员进行审核作出判断,判断结果直接作用线上;二审是指针对一审操作后的数据抽取一定比例流入二次审核,由高级审核人员进行核查确认;三审是指针对一审、二审存在状态不一致的情况,由审核组长进行最终确认。

同时借助文本聚类、图片聚类等技术手段对数据进行离线二次分析,依靠易盾专业的人工审核团队,对分析数据进行结果打标,打标后数据一方面直接作用线上,补足事中拦截的不足,另一方面由策略运营进行实时策略更新,同时也将这批打标数据运用于线上模型迭代。

智能审核平台

基于以上机器与人工优势的融合,网易易盾打造了人机协同、高效能的内容审核管理平台,尤其适合金融、教育、游戏、社交、直播等复杂业务场景,可提供不同侧重点的内容审核机制,并实现内容的统一管控、全程溯源、实时审查,降本增效。


审核工作全程可溯源

○ 支持API/在线检测等多种方式快速接入

○ 可自由配置多重审核策略


智能审核提高人工效率

○ 文本、图片、音视频、直播、文档、网页等融媒体数据审核全覆盖

○ 自定义多轮审核流程,自由选择一审二审三审、盲审、抽审模式

○ 支持极速/分类审核、多人同审、关联审核、聚类审核

○ 独创的直播电视墙审核模式,极大降低安全风险

机审规则策略灵活可配

○ 支持五大特征库灵活配置:智能关键词、忽略词、智能/高频规则、文本特征、联系方式特征

○ 支持五大名单库灵活配置:图片名单、用户名单、IP名单、设备名单、URL名单

数据大屏实时监控内容风险

○ 多维度风险统计报表,全方面掌握产品数据指标及不良信息分布,把控安全风险

○ 实时监控各类业务数据,管理人员及时调整审核资源及人力

○ 自定义异常消息订阅,实时推送异常数据告警提醒


定制化标签审核助力内容运营

○ 支持自定义标签类型、标签级别及分组

○ 审核人员可同时进行内容风险审核操作及标签标注,便捷灵活

合理界定内容违规,紧跟行业监管法规

近年来,我国在互联网内容治理方面取得一系列突破,互联网数字内容面临《网络安全法》、《网络安全审查办法》、《互联网信息服务管理办法》、《网络信息内容生态治理规定》等法规的监管。经过20多年的实践探索,易盾形成了一套体系化的问题内容通用定义,并从不断变种的实际问题中获得优化思路,减少误漏判。当前,易盾支持8大类文本问题、11大类图片问题和11大类的语音。每一个细分类进行了有明确的标签和描述。覆盖了涉价值观、未成年、拜金炫富等近百种细分类识别模型,达到99.99%的精准度以保证在线检测精准拦截,对有害信息进行重点围追堵截。同时易盾 也会在每年暑假、寒假都会推出清朗专项,结合新的政策及监管要求,对历史存量数据支持清洗。

数千家行业头部客户的信任

网易易盾是网易集团旗下一站式数字内容风控品牌。以客户价值为导向,让客户得以将精力聚焦业务创新,以社会责任为己任,为国家守护清朗健康的网络空间。目前,网易易盾的数字内容风控解决方案已为中国社会出版社、高等教育出版社、扇贝网、人民网、B站等多家行业头部客户保驾护航。