作者：网易易盾企业安全高级解决方案工程师高洪亮
我是一名解决方案工程师，与企业用户的交流是我工作中重要的组成部分。在内容安全领域，我与许多不同类型的企业用户沟通、交流过，以下是个人对于内容安全体系建设的一些认知和思考。
1.是否引入第三方专业的内容安全服务？
在这个问题上，可以按照内容数据量的规模大小，将内容平台划分为小规模、中等规模、超大规模三个级别。不同的平台面临的问题不同，需要评估的因素优先级也不同，这里从平台规模来分别说明一下，到底是自建，还是接入第三方内容服务。
1.1 小规模平台
例如一个发展初期的电商平台，每天要审核的用户评论可能只有几千条或者几万条，大部分内容是没有问题的。这种情况下，内容审核工作的成本因素优先级较高，对于可能存在的灌水、谩骂、无意义评论，用户可以选择投入1-2名运营人员进行人工审核，基本可以满足对保障效果和低成本的要求。
1.2 中等规模平台
平台发展到中等规模时，每天产生百万甚至千万量级的数据。 这种情况下，对于审核的需求，效果和效率优先级最高，成本因素优先级下降。
自建审核体系，没有长时间的数据、人员经验积累，审核效果很难保障，而且需要投入大量的人力和硬件设备，成本要达到百万甚至千万级别。并且平台发展到中等规模时会面临更多的问题，可能有恶意竞争对手在平台发布灌水、恶意引流信息，也有黑灰产在平台发布黄赌毒等违法违规的信息……
这种情况下，引入第三方服务商的内容安全服务，来保障审核效果并提高审核效率，而企业自身专注于业务层面，这种选择符合公司快速稳定发展的战略。
1.3 超大规模平台
以较大的视频平台为例，在业务量超大的情况下，成本因素降为最低，因为不论是引入第三方服务，还是自建审核体系，成本投入都非常之高。
另外发展到超大规模的企业，肩负的社会责任较大，在审核标准上，除了一些必要的违规违法内容需要审核，还有一些负面的，会造成不良引导的内容需要审核。例如:未婚已孕的低龄少女妈妈直播，这类内容需要审核人员介入，依靠自动检测平台与审核人员的主观判断能力，共同保障审核效果。
从公开渠道信息可以了解到，一些视频业务为主的公司，人工审核团队已经达到了上万人，团队主要分布在二三线城市。除了有成本、效果、效率因素的考虑，还会有数据敏感性、公司战略发展等因素的影响，所以综合来看超大规模平台引入第三方服务的概率很小。
2. 用户对于内容服务审核的需求分析
如果一个用户已经确定了要使用第三方专业的内容安全服务，在综合评选合适的合作伙伴时，有多个评选因素，排除掉商务关系，按照优先级分为：审核效果、价格、其他因素(公司实力、 服务体验、业内口碑等)。 因为价格和公司实力等因素非常容易比对，就不做过多的阐述，这里重点阐述下对于审核效果上评比的一些心得。
2.1 对于审核效果认知的误区
用户在不同的阶段会用不同的认知和误区。刚刚接触到内容审核业务的用户，会比较看重各个内容安全服务商对于审核效果的宣传数字。
如果一家公司宣传的准确率99.9%，可能高于其他人0.1个百分点，用户会觉着数字越高越好。但是当实际测试对比马上就会发现，这个数字只是一个实验室环境的数据，可是能针对某一个样本级的测试数据，不代表用户的业务审核准确率也能达到这个数字。
另外这个数字也是比较笼统的，因为不同类型的数据、不同的审核标准下的准确率也是各不相同的，所以不要过于迷信准确率的数字，需要结合实际的业务数据测试来看效果。
在测试阶段，会出现没有达到用户预期的检测效果。这种情况下不要急于判定审核服务能力差，因为审核效果是可以提升的，是需要经过“磨合”。 这里的“磨合”，可以是运营人员策略上的调整，也可以是算法团队对于模型的调优，需要用户与服务方运营人员充分沟通，双方共同努力来提升审核效果。
这里也需要用户了解两个概念：准确率与召回率。准确率是指对数据判断正确的比例，而召回率是指找出问题数据的比例，两者有互斥的关系，高召回率可能会降低准确率，所以对于业务上使用的策略也会影响到检测效果，这个要结合用户业务性质与检测时期来决定策略上的调整。
2.2 效果保障——快捷高效的运营机制
服务方的运营人员主要职责在于调整审核规则，收集问题并快速解决，所以沟通方式一定要快捷有效。易盾在服务上采用IM群为主要的沟通方式，并以邮件、电话、工单等方式辅助，让用户能够有快速反馈的渠道。同时在人员配备上，采用轮班等形式，形成7*24小时的全天候服务，达到快速响应的效果。而且在易盾内部，运营团队与算法团队有良好的配合机制，这样当用户遇到问题时，无论是策略还是算法层面的问题，用户能够快到找到运营人员进行统一协调快速解决问题。
2.3 效果保障——人工审核服务
目前第三方内容安全的服务，主要是以SaaS形式提供自动化审核服务。我们需要知道的是纯自动化审核是没有办法鉴别出全部的内容问题。易盾在机器检测服务之外，还提供全天候的人工审核服务，对于用户来说有更多的选择，可以是自己的运营团队来做，也可以是交给易盾完成整个审核流程。
易盾的审核团队人员经验较为丰富，对于政策相关的敏感内容能够做到严格把控，人员的高审核素质加上易盾成熟的人工审核系统，可以为用户提供高效的、可靠的人工审核。