文本检测是网站反垃圾系统中最为常见的部分。因为文本垃圾信息无孔不入,而且种类繁多,我们必须通过自动化的反垃圾技术体系来提高效率、降低成本;而因为垃圾制造者会不断变招,我们又需要有一拨人见招拆招,围堵那些漏网之鱼,当然最好是还能够总结出新的规律,将自动化技术体系升级,让工作更轻松一些。
首先,发布垃圾信息的用户一定有与正常用户不同的核心特征,找到这些不容易变化的特征,对可疑帐号进行特别处理,比如限制注册/发布,就能减少很多的工作。对垃圾发布者的识别,包括在帐号信息与帐号行为的分析,比如注册时间、关联手机/邮箱、IP、发布频率等。当然,一些特征也可能和平台性质有关,需要具体挖掘。需要注意的是,帐号的头像、昵称、签名也可能是垃圾信息藏匿的场所,私信就更不用说了。
其次,对垃圾内容的识别,需要根据内容性质的维度划分处理,文本垃圾信息包括广告、黄赌毒、暴恐、涉政等方面,识别方法和处理方法也不会完全相同。
再次,在识别手段上,正则表达式在某些场景可以发挥很大的作用,但面对层出不穷的新花样,还是需要靠谱的算法模型,尤其是图像识别,是深度学习最擅长的任务了。算法做好的话,能够省很多人力。由于长期需要处理邮箱和 UGC 产品的反垃圾,网易易盾的反垃圾系统在文本、图像、语音、视频方面都有实践经验,同音词匹配、模糊匹配和题主说的变异字体匹配都要搞定,相似图片、动漫、水印都要能识别,图片旋转、裁剪、亮度色调变化更不在话下。这要感谢网易海量云计算资源,更要归功于多年反垃圾特征数据沉淀,归功于安全团队孜孜不倦地更新垃圾特征,深度学习才能发挥作用。
相关阅读: