中文站

社交App如何进行敏感词、违禁词检测过滤?

在这个内容为王,网红遍地,人人都爱分享的时代,社交产品已经成为全民生活必不可少的一部分。移动互联网加速了社交产品的发展,互联网用户也较之以往更为活跃,持续生产海量信息。产品成长过程中,用户量激增伴随的垃圾信息问题也随之而来,涉政敏感词、违禁词、垃圾广告、色情、血腥暴力等不良信息降低了用户体验,不利于产品健康发展。因此社交APP反垃圾非常重要。


反垃圾工作主要是对发布者和发布内容进行分析,识别并处理垃圾信息。反垃圾过程是一个持续对抗的过程。持续对抗就是说无法一劳永逸,只能缓解压力。因为垃圾信息无孔不入,而且种类繁多,我们必须通过自动化的反垃圾技术体系来提高效率、降低成本;而因为垃圾制造者会不断变招,我们又需要有一拨人见招拆招,围堵那些漏网之鱼,当然最好是还能够总结出新的规律,将自动化技术体系升级,让工作更轻松一些。

垃圾信息发布者一定有与正常用户不同的核心特征,找到这些不容易变化的特征,对可疑帐号进行特别处理,比如限制注册/发布,就能减少很多的工作。对垃圾发布者的识别,包括在帐号信息与帐号行为的分析,比如注册时间、关联手机/邮箱、IP、发布频率等。当然,一些特征也可能和平台性质有关,需要具体挖掘。需要注意的是,帐号的头像、昵称、签名也可能是垃圾信息藏匿的场所,私信就更不用说了。

对垃圾内容的识别,需要根据内容类别分别处理,当前社交平台基本都支持文本、图片、语音、视频,这是从媒介的维度划分,不同的媒介需要不同的技术手段,文本理解、图像识别、语音分析、视频检测技术都需要拿得出手。另外从内容性质的维度,垃圾信息又包括广告、黄赌毒、暴恐、涉政等方面,识别方法也不会完全相同。

在识别手段上,正则表达式在某些场景可以发挥很大的作用,但面对层出不穷的新花样,还是需要靠谱的算法模型,尤其是图像识别,是深度学习最擅长的任务了。算法做好的话,能够省很多人力。由于长期需要处理邮箱和 UGC 产品的反垃圾,网易易盾在文本、图像、语音、视频方面都有实践经验,同音词匹配、模糊匹配和题主说的变异字体匹配都要搞定,相似图片、动漫、水印都要能识别,图片旋转、裁剪、亮度色调变化更不在话下。借助深度学习,我们色情图像识别精准度达到了99.8%。基于网易21年专业内容安全防护经验及大数据积累,也源于安全团队孜孜不倦地更新垃圾特征,深度学习才能发挥作用。所以说,实时检测绝对不能出问题,但在线不可能积累太多的特征,离线训练也是同样重要的。

违禁检测识别在线体验

涉黄违禁等敏感词检测在线体验