中文站

AI人工智能如何加速网络内容反垃圾

互联网所带来的不仅是生活便利、多姿多彩的娱乐方式以及全新的信息获取工具,还有各种千奇百怪、光怪陆离的垃圾内容。在移动互联网时代,UGC类产品得到空前的发展,涉及社交、新闻、音乐、直播、社区论坛等,用户原创内容超越过去简单的文字评论,扩展到文章、图片、视频、直播等多种形式和内容。也因此,互联网内容安全和反垃圾形式空前严峻,过去的人工审核已经难以适应当下的产品需求。  

网络垃圾不仅影响用户体验,而且网络谣言、暴恐信息、诈骗、淫秽色情等违法违规内容则甚至可以直接导致运营风险。产品发展初期数量量小,人工审核团队就可以应付。但随着产品的不断发展,快速、精准、低成本的过滤垃圾信息成为重中之重,近年来人工智能技术的深入发展与成熟使得高效低廉的机器反垃圾成为可能。  

网易是国内第一个为反垃圾设立专业团队的公司。之所以设立专业的团队,一方面是网易邮箱、博客天然的反垃圾的需求。另一方面是丁老板的产品洁癖。 网易的反垃圾(现在称为内容安全)团队早在1998年就成立了,这是国内最早以技术驱动的内容安全团队,隶属于网易安全部。随着内容安全越来越重要,再加上网易的内容安全技术非常成熟,后来网易安全部决定把其自身的技术沉淀和实践云化并对外提供服务,从而推出——“网易易盾”这个品牌,并在业界率先发布第三代智能审核技术,其智能识别精准率超过99.8%,每天检测信息达十亿条。  

相对于人工审核,更重要的是成本,人工智能技术已成为反垃圾应用的主流。以网易易盾为例,其可以实现一天内部署,而企业自建反垃圾系统,则需要购买服务器、招聘技术人才和审核人员,至少需要3个月才能完成。网易易盾极大地释放了技术团队、审核团队,降低了80%以上的成本。  

目前易盾已成为国内首屈一指的内容安全服务商,服务数千家企业。网易易盾的内容安全技术更新升级一共分为三代:第一代内容安全技术是建立在关键词、黑白名单、过滤器和分类器上;第二代内容安全技术基于内容特征识别(肤色、纹理)、贝叶斯过滤、相似度匹配和规则系统;而第三代则升级为大数据分析(用户行为、用户分类)、人机识别、人工智能和机器学习(语义识别、图像识别)。过程中,易盾也自研了很多技术,包括语义池挖掘算法、在线学习算法等。