-
文本内容安全领域 深度学习的六个主流应用方法_网易易盾
深度学习兴起之前相当长的一段时间内,基于机器学习的文本分类方法占据着文本分类领域统治地位。本文根据易盾文本算法团队在内容安全领域的实践经验,介绍一些深度学习模型以及对部分技术细节进行讨论。文本内容安全领域 深度学习的六个主流应用方法
来自:动态资讯 -
文本分类在内容安全应用中的数据不平衡问题_网易易盾
经过几十年的发展,文本分类在学术界已经是一个比较成熟的技术,目前自然语言处理(NLP)的研究热点已经不在文本分类上面。然而,作为内容安全检测的一个重要技术手段,文本分类在实际业务中还是有不少的挑战。文本分类在内容安全应用中的数据不平衡问题
来自:动态资讯 -
更适合文本分类的轻量级预训练模型_网易易盾
本文将详细介绍一种基于预训练半监督的文本分类轻量型模型,即 VAMPIRE 模型,为解决由于大量数据和高昂计算力导致的资源不足问题提供一些思路。更适合文本分类的轻量级预训练模型
来自:动态资讯 -
如何高效检测过滤文本中敏感违禁等不良信息?_网易易盾
文本检测是网站反垃圾系统中最为常见的部分。因为文本垃圾信息无孔不入,而且种类繁多,我们必须通过自动化的反垃圾技术体系来提高效率、降低成本;自动化技术体系升级,让工作更轻松一些。如何高效检测过滤文本中敏感违禁等不良信息?
来自:动态资讯 -
NLP 模型“解语如神”的诀窍:在文本分类模型中注入外部词典_网易易盾
面对复杂多变的文本表述,NLP 模型往往无法从有限的训练数据中获得足够的支撑,寻求外部知识注入就成为了一条必经之路。本文将基于网易易盾的实践经验,分享在文本分类模型中注入外部词典的一些经验知识。NLP 模型“解语如神”的诀窍:在文本分类模型中注入外部词典
来自:动态资讯 -
知物由学 | “找茬”不如交给AI算法,细说文本纠错的多种实现途径_网易易盾
顾名思义,文本纠错就是将文本中有错误的地方进行纠正,错误类型包含错别字、缺失字、冗余字、词语搭配错误和语法错误等。目前也有一些开源的文本纠错工具,但其效果距离真正应用还有较大的差距。知物由学 | “找茬”不如交给AI算法,细说文本纠错的多种实现途径
来自:动态资讯 -
再造巴别塔,我们如何进行NLP跨语言知识迁移?_网易易盾
借助这一技术,易盾能够将中文内容检测能力迅速扩展到其他语种,全方位拦截垃圾文本 再造巴别塔,我们如何进行NLP跨语言知识迁移?
来自:动态资讯 -
知物由学 | 易盾自研文本实时聚类技术,一网打尽社交网络中的同类有害内容_网易易盾
实际业务场景中,每天文本内容的数据量都在亿级以上,为了高效处理如此海量的数据,文本聚类技术的运用是必不可少的。所谓文本聚类,指的是将文本按照类别进行聚合,然后以类别为单位对文本进行处理或使用。知物由学 | 易盾自研文本实时聚类技术,一网打尽社交网络中的同类有害内容
来自:动态资讯 -
解密UGC板块垃圾信息过滤_网易易盾
针对UGC板块垃圾信息过滤的问题,网易易盾给出了完美的解决方案。解密UGC板块垃圾信息过滤
来自:动态资讯 -
利用 DFA 算法实现文字过滤_网易易盾
在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA 全称为:Deterministic Finite Automaton,即确定有穷自动机。DFA 算法实践敏感词过滤利用 DFA 算法实现文字过滤
来自:动态资讯