近日，中华人民共和国工业和信息化部发布 2023 年第 17 号公告，正式批准 166 项通信行业标准，其中由网易智企旗下，网易易盾牵头编写的《信息内容识别技术 第 1 部分：基于文本识别的内容检测服务系统指标要求和评估方法》行业标准，获得正式批复，并于 2023 年 11 月 1 日正式实施。点击免费下载《信息内容识别技术 第 1 部分：基于文本识别的内容检测服务系统指标要求和评估方法》
一、行业标准要求严苛，易盾牵头凸显实力
业内过往标准大多为团体性标准，如常见的中国互联网协会标准、CCSA 中国通信标准化协会标准、AIIA 中国人工智能产业发展联盟标准等。行业性标准是指在全国某个行业范围内形成的统一标准，是由国务院有关行政主管部门制定，并报国务院标准化行政主管部门备案，经审查确定后批准发布的标准。因审查严、要求高的特点，行业标准相对于团体标准，更为稀少与珍贵。
核心参编单位是指在行业标准和规范制定过程中，承担主要编写任务的成员单位。因此核心参编单位需在所在领域具备一定的行业地位和影响力，能够代表行业的技术水平和发展方向，并提供有价值的技术方案和建议。易盾牵头编写该项行业标准，标志着其在数字内容风控行业拥有卓越的顶层设计能力，体现了易盾不可撼动的技术领军者地位。
二、 行业积极响应，层层审核发布
该项标准由网易易盾牵头编写，过程中也获得了行业的广泛响应，包括中国信息通信研究院、阿里云计算有限公司、北京金山云网络技术有限公司作为参与单位辅助编写，南京新一代人工智能研究院、深圳市腾讯计算机系统有限公司、腾讯云计算（北京）有限责任公司作为附议单位提供建议，于 2020 年 5 月在中国通信标准化协会立项，历经 TC1WG1 第 70、71 次工作组会议，对标准草案征求意见稿进行数次编写与修改，在 TC1WG1 第 72 次工作组会议上讨论形成标准草案送审稿，审核通过并形成草案报批稿，经中国通信标准化协会对外公示后，送交工业和信息化部内部审批，再经工信部意见征求与公示阶段，直至日前的最终批准发布，前后历时三年，获得行业一致认可，终于磨成一剑！
三、业内首份行业标准，易盾专家详细解读
互联网高速普及的同时，网络垃圾信息也变得无处不在。从 1978 年第一封垃圾邮件诞生开始，人类研究信息内容安全的历史已近 40 年，早前的垃圾信息问题早已演变为互联网平台“涉政、涉暴、虚假、色情”等违法违规信息问题，技术手段也从最传统的过滤机制开始向人工智能方向发展。当前，国内在内容安全治理与保护方面仍处于起步阶段，面对海量庞杂、异质多源的大数据内容信息，如何高效、快捷地处理数据，精准地分析文本语义内容，检测和过滤违禁有害信息，是业界面临的一个技术难题和挑战。
为引导内容识别技术健康发展，推动内容安全治理工作顺利开展，保护优质的内容检测服务提供商，营造良好的市场环境，特开展信息内容识别技术评估的标准化工作。
本标准主要提出了文本内容检测系统的评估方法，从支持的文本长度及字符编码、系统基本信息、成熟度、服务质量等维度明确其指标要求。
系统成熟度评估主要对基于文本识别的内容检测服务系统的完整性评估(功能完整性评估和性能评估、组织完整性评估)、开放性、可靠性及易用性进行评估。服务质量评估指的是从可审查性、计量准确性对基于文本识别的内容检测服务系统进行评估。
具体指标及专家解读如下：
1. 系统成熟度评估
（1）完整性评估
a. 功能完整性评估
功能完整性评估考察的是参评系统作为一个成熟的内容检测系统，是否具备投入到日常使用中所需要的各项功能。这些功能主要体现在检测功能、审核功能、监控功能和管理功能四个维度。检测功能指标指的是机器检测方面的功能，包括支持的格式、支持的文本长度、支持的检测分类等指标要求。审核功能指标涉及的是人工审核相关的功能，包括人工审核、数据查询、日志管理、IP 管理、数据账号管理、统计审核、样本库管理等功能的指标要求。监控功能指标要求系统支持对数据流量、接入 IP、接入账号的实时监控和统计，能够及时发现流量异常、负载异常等情况。管理功能指标体现的是系统的后台管理能力，是否支持对系统核心功能进行管理和配置，具体可以细化为模型策略配置、类别检测、业务管理、用户管理、内容管理 5 类指标。
b. 性能评估
参评系统性能评估内容主要包括：系统性能、检测结果、指标算法三个方面。其中系统性能是指吞吐量应满足实际业务峰值的需求，该指标也是一个成熟系统跟算法 demo 的重要区别，有些算法 demo 可能也具备一定的内容识别效果，但往往因为采用过于复杂的模型架构以及缺乏长期的工程优化，只能支持少量或离线的数据检测，达不到大业务量的实时检测要求。检测结果是指系统识别的标签应符合色情、涉政、暴恐、广告等违法违规信息的类别，这一项指标要求系统不但要准确识别违法违规信息，还需要准确输出违法违规的具体类别。指标算法是指系统的识别效果应满足业务实际需求，其评估内容包括精确度、召回率和 F1，可以看出指标算法是以量化的形式对系统的识别效果进行评估的，由于这 3 个指标广泛应用于学术界和业界，这里不再展开描述。
（2）开放性评估
开放性评估包括开放文档和接入方式两个指标项，重点考察系统的开放性情况。开放文档指标项要求系统厂商应提供与承诺相符的内容检测服务系统可开放的相关功能文档，这些文档将有助于系统使用者完整了解系统的所有功能和能力。接入方式指标项则评估系统是否支持开放 API 接口、SDK 接入和本地化部署这三种接入方式，支持的接入方式越多，系统的开放性越高。开放 API 接口指的是对外开放调用接口地址和出入参的定义，业务方自行编写调用代码来使用系统。SDK 接入指的是系统厂商提供各类编程语言的 SDK，业务方直接使用 SDK 来调用系统的功能。不管是开放 API 接口还是 SDK 接入，系统都是运行在系统厂商内部的，对于数据安全性有要求的用户，可以使用本地化部署的方式，把整个系统都部署在业务方内部。
（3）可靠性评估
可靠性评估内容主要包括数据可靠性、系统安全性两个方面，采用基于材料审查的评估方法，评估材料由参评企业提供。数据可靠性要求系统的数据来源应该是安全可靠的，比如模型的训练数据是否存在来源不明等安全问题、特征库的特征是否经过确认无误的。系统安全性指标则从安全接入、数据传输加密、安全密钥管理、系统备份、用户信息保护机制、特殊端口、系统运行时的安全状态这些方面对系统的安全性做了要求。以安全接入为例，如果接入过程未采用任何安全措施，则存在数据泄露、接入者身份伪造等问题，常用的安全接入方式为 HTTPS+ 接入秘钥组合。
（4）易用性评估
顾名思义，易用性评估主要考察的是系统使用和维护的难易程度。难易程度属于偏主观性质的概念，直接对其进行评估不太具有可操作性，因此我们把易用性评估拆分为接口说明、演示文档、算法说明、数据库文档、部署文档、运维说明、集成手册、软件试用、硬件试用共九个相对客观的维度。首先要求系统必须具有系统接口说明书和操作演示文档。这两个是最基础的要求，在此之上，如果能提供系统算法说明文档则更佳。对于支持本地化部署的系统，还需要提供数据库文档、部署文档、运维说明、集成手册等相关材料。此外，在试用方面本标准也进行了说明，分为软件试用和硬件试用两种，软件试用要求系统支持在线试用，硬件试用要求系统同时支持软硬件试用。
2. 服务质量评估
（1）可审查性
可审查性的指标项可以分为两大类：服务基本信息和关键信息记录查询。其中服务基本信息要求提供系统名称、系统版本号、系统基本描述、系统功能、业务运营起始时间、知识产权说明、行业实施案例等要素的信息。在系统的使用过程中，我们不可避免地会对系统上的各类数据进行更改，比如检测配置会根据数据分布不断调整，过了一段时间后可能会对之前的更改进行回溯，这就要求系统能够对以前的更改进行完整的记录。关键信息记录查询类指标就是从这方面对系统进行了规范，它要求系统从数据查询、登录记录、变更查询、操作账号查询、变更时间查询、运维记录、日志防篡改这几个指标上面有对应的能力支持，以此来满足可审查性要求。
（2）计量准确性
作为一个商业服务提供商，服务计量准确性的重要性显而易见。本标准也在这方面提供了相关的指标用于计量准确性的评估。具体的评估指标有计量周期和颗粒度、计量日志、付费功能描述一致性、定价依据。计量周期和颗粒度指标要求系统能够显示服务计量的周期和颗粒度，并根据选取的周期和颗粒度显示计量情况。计量日志指标要求能够查询计量日志，当我们怀疑系统计量存在异常时，可以通过查询计量日志来进行确认。付费功能描述一致性这个指标就更重要了，它要求服务调用次数和其他所付费功能与系统使用情况一致。定价依据指标指的是根据使用量不同提供不同的定价，显然，清晰的定价依据有利于系统使用方完全掌握费用情况。