文本检测是网站反垃圾系统中最为常见的部分。因为文本垃圾信息无孔不入，而且种类繁多，我们必须通过自动化的反垃圾技术体系来提高效率、降低成本；而因为垃圾制造者会不断变招，我们又需要有一拨人见招拆招，围堵那些漏网之鱼，当然最好是还能够总结出新的规律，将自动化技术体系升级，让工作更轻松一些。
首先，发布垃圾信息的用户一定有与正常用户不同的核心特征，找到这些不容易变化的特征，对可疑帐号进行特别处理，比如限制注册/发布，就能减少很多的工作。对垃圾发布者的识别，包括在帐号信息与帐号行为的分析，比如注册时间、关联手机/邮箱、IP、发布频率等。当然，一些特征也可能和平台性质有关，需要具体挖掘。需要注意的是，帐号的头像、昵称、签名也可能是垃圾信息藏匿的场所，私信就更不用说了。
其次，对垃圾内容的识别，需要根据内容性质的维度划分处理，文本垃圾信息包括广告、黄赌毒、暴恐、涉政等方面，识别方法和处理方法也不会完全相同。
再次，在识别手段上，正则表达式在某些场景可以发挥很大的作用，但面对层出不穷的新花样，还是需要靠谱的算法模型，尤其是图像识别，是深度学习最擅长的任务了。算法做好的话，能够省很多人力。由于长期需要处理邮箱和 UGC 产品的反垃圾，网易易盾的反垃圾系统在文本、图像、语音、视频方面都有实践经验，同音词匹配、模糊匹配和题主说的变异字体匹配都要搞定，相似图片、动漫、水印都要能识别，图片旋转、裁剪、亮度色调变化更不在话下。这要感谢网易海量云计算资源，更要归功于多年反垃圾特征数据沉淀，归功于安全团队孜孜不倦地更新垃圾特征，深度学习才能发挥作用。
相关阅读：