在《重新定义公司：谷歌是如何运营的》一书中，谷歌执行董事长埃里克·施密特和前高级副总裁乔纳森·罗森伯格分享了一条经验：在谷歌，最优秀的产品是靠技术因素而非商业因素赢得成功。
“谷歌几乎所有的成功产品都是由坚实的技术洞见作为基础的，而那些不尽如人意的产品则大多缺少技术洞见的支持……所谓技术洞见，是指用创新方式应用科技或设计，以达到生产成本的显著降低或产品功能和可用性的大幅提升。”施密特和罗森伯格写道。
当前被谷歌视为成功基石的技术，是人工智能（AI）。除了在Google I/O大会上亮相的Google Lens、Google Assistant、Google Home等产品，人工智能技术也被谷歌应用于解决内容型产品的成本、功能和可用性问题，其最新成果是借助机器学习模型评估网络会话影响的工具Perspective，Perspective的第一个功能识别线上“有毒（Toxic）”评论已经上线。
阻击“有毒”内容
互联网发展二十多年，技术不断演进，商业竞争日益激烈，内容运营是当前各种商业模式都在思考的课题，而评论内容也逐渐成为许多互联网产品的核心竞争力之一。当然，评论的活跃度和内容质量都是需要运营团队精心照料的，因为互联网上多的是违法、侮辱、骚扰、色情、暴力等垃圾内容。如何清除这些“有毒”内容，是一个亟待解决的行业问题。
在谷歌，阻击“有毒”内容尤为重要。最直接的原因是商业利益，谷歌90%收入来自广告，但没有广告主愿意自己投放广告的页面包含那些让人感觉不舒服的内容– YouTube平台已经因为不良内容而被沃尔玛、百事可乐和Verizon等广告客户抛弃，这导致谷歌损失上亿美元。这件事情已经让谷歌警醒，他们对审核工作的重心提出了针对性的要求。
其次是用户体验，谷歌的文化追求让查阅信息的用户直接看到他渴望的内容，其搜索算法一直为此优化，然而垃圾评论（通常是批量发布的）会把用户喜闻乐见的内容淹没；同时，垃圾评论还会影响到优质内容创作者的创作热情，更多的用户也会因此拒绝发表意见，社区将会沦陷。这也是谷歌不能忍受的。
人工智能的新希望
施密特和罗森伯格在书中给出了寻找技术洞见的三个途径：集中可用的科技及数据资料为某个行业问题寻找新的解决方法；看极客们在研究什么；找到某个具体问题的解决方案，然后设法对该方案加以拓展。采用人工智能对抗有害内容的实践，符合谷歌的运营逻辑。
在引入人工智能技术之前，业界惯用清理不良内容的方法，是人工举报、人工审核以及策略和传统算法的结合。古老的关键词过滤方法在特定情况下仍在发挥作用（例如YouTube评论系统也允许频道管理者设置关键词黑名单直接屏蔽某些评论），但这招无法覆盖不断升级的恶意评论。而人工审核意味着巨大的人力成本和低下的效率 – YouTube的用户每天会上传接近60万小时的视频，这需要大量审核人员不眠不休地工作才有可能完成审核任务。
根据《连线》杂志对八名现职和前谷歌广告质量评分员（ads quality raters）的采访结果，这些人确实工作压力极大。他们的工作任务包括：审查视频内容；审阅评论区并标记用户的不当言辞；检查谷歌广告网络服务的各类网站以保证它们达到谷歌标准；为广告质量本身评分。庞大的工作量迫使他们把数量和速度的优先级放在准确度之上 – 他们有时候需要用不到2分钟的时间检查几小时的视频。
同时，谷歌需要给这些审核人员（外包）支付每小时15美元的工资，这比大多数城市的最低工资高。
人工智能的进步带来了新的希望，国外的Facebook、Twitter，国内的网易云安全（易盾）、万象优图等团队都在尝试使用人工智能来消减大部分的人工工作量，以实现更好的成本、效率和性能。作为一家执行“AI First”的公司，谷歌也已经开发人工智能系统识别和过滤垃圾信息。在谷歌高层看来，这个问题无法也不应该由人力解决。
Perspective：AI+集体智慧维护评论秩序
2017年2月，谷歌反滥用技术团队（Counter AbuseTechnology Team）联合谷歌母公司Alphabet旗下的Jigsaw（其前身为谷歌智库部门Google Ideas）宣布推出名为Perspective的新工具，自动检测网络上的侮辱、骚扰和虐待言论。Jigsaw表示，对于输入的任何词句，Perspective都能立即给出其“毒性”评分，比任何关键词黑名单都要准确，比任何人类审核人员都要快。
作为Conversation AI开源项目的一部分，Perspective以API形式开放给更多开发者，使得社交媒体和新闻网站能够更方便地使用机器学习技术检测评论语音的“毒性”，进而更好地管理评论内容。为了识别“有毒”评论，Conversation AI已经进行了大量的训练。谷歌和Jigsaw从维基百科、《纽约时报》等合作伙伴手上拿到了数百万条评论数据，让10名Jigsaw员工确定每一条评论是否“有毒”，再将这些判断结果作为训练样本输入给机器学习模型。模型会给出输入词句“有毒”或者会“把天聊死”的概率。例如，“你不是好人（you are not a nice person）”被理解为“有毒”的可能性是9%，而“你是个恶心的男人（youare a nasty man）”的反馈结果是91%。
Perspective API允许开发者使用自动化代码访问那些测试，集成到页面中让评论者在输入的同时就能看到毒性指数。用户可以在官网（http://www.perspectiveapi.com/）体验Perspective API的效果。
诚然，Perspective并不完美，因为算法还无法理解文字背后的语境和感情，对语言的真实意思可能会有误判。财富网站报道称，Perspective对高频词句判断准确率确实很高，但一些不知名的侮辱性词汇（如libtard）的毒性评分很低；相反地，“生活是一种煎熬（life’s a bitch）”的毒性指数却很高。不过，谷歌官网已明确表示：Perspective还处在早期阶段，难免还有很多错误。所以，页面提供了反馈选项，模型会根据反馈数据更新，提高精准度。
事实上，这是Perspective的产品逻辑：利用集体的智慧不断驱除“有毒”评论，维护社区秩序。Conversation AI产品经理亚当斯（CJ Adams）表示，团队希望每个人都能参与到这个项目，利用这些模型改进网络讨论。在此之前，社交/新闻网站的评论管理，只有“赞成”、“反对”、“关闭评论”或者人工调节等选项，而Perspective提供了另一种选择（即集体智慧），并且效果是与时俱进的。确实，挖苦短语“nice work, libtard”的评分已经是34%，而不是财富网站之前评论的4%。
但是，目前不那么成熟的模型在生产环境中有多大意义呢？当前互联网产品那么多，人工智能误判带来的过度限制，又会不会导致另一种“把天聊死”，然后用户转向竞品呢？如前所述，网站管理者的选项很少，Jigsaw认为，很多媒体网站只有很傻的黑名单，或者干脆关闭评论，而Perspective会让网络对话更便利。Jigsaw首席研究科学家卢卡斯·迪克森（Lucas Dixon）表示，系统的目标不是100%的精确度，而是足够好 – 让期待文明评论的人不再忌讳参与互联网讨论。
Jigsaw首席研究科学家卢卡斯·迪克森（Lucas Dixon）
作为一款志在借用集体智慧改进算法的产品，Perspective也充分考虑了个体口味的差异，它
允许用户自行选择显示评论的毒性指数阈值。例如，以下气候变化讨论的截图，其中包括了高层次的负面评论：
而这个截图显示的对同一个话题的更多评论，将“毒性”拉到光谱的左侧。可能有人会认为，这些评论仍然武断，但没那么苛刻：
注意，Perspective的毒性尺度选择除了开放给评论管理者，也向读者提供。这意味着网站可以根据清晰的毒性指数定制合适的过滤规则，也意味着读者可以自主决定怎么愉快地聊天。这个策略能更好地保证产品的使用率，保护系统收集到足够丰富的数据来改进模型精确度。
Perspective的另一个好处，就是系统不必与帐号关联，这让匿名评论的监管变得简单。谷歌曾强制将YouTube评论系统与Google+帐号关联，让视频创作者根据用户所处的圈子自动批准特定用户的评论。但这一做法引发了一些非议。
根据Jigsaw的介绍，检测语言毒性只是Perspective的第一个模型。接下来的一年，他们将利用机器学习来增加其他能力。特别是，他们将开始筛选脱离主题的评论或缺乏实质意见的内容。模型训练好之后，网站和读者将可以配置评论设置，只显示相关性最强的内容。
《纽约时报》、维基百科、经济学人、卫报等已经在使用Perspective。据报道，《纽约时报》这样的网站之前只能处理10%的文章评论，但在采用Perspective后可以实现100%覆盖。当然，小型网站同样可以受益。不过，社交和媒体公司目前还需要依靠IT人员将Perspective整合到自己的网站上。预计第三方开发人员将会构建新特性，允许缺乏编码知识的用户能够直接安装评论管理工具。
谷歌的挑战
从产品设计的角度，Perspective无可指摘，但这并不表示摆在谷歌面前的是一片坦途。首先，即便通过开放API获得大量的数据，同时神经网络的潜力正在不断释放，自然语言理解和自然语言处理仍是当前人工智能领域的难点。有评论说，Perspective对《纽约时报》的内容审核有用，但在Twitter、Reddit能发挥的作用不大。
其次，多语言障碍。Perspective目前的主要使用场景是英语，Jigsaw表示Perspective只是改善在线交流的第一步，他希望工具能够复制到别的语种，从而实现更多的用途。那么，数据的缺失和语言习惯的不同都是模型调整必须深入思考的问题。
更重要的，就是对抗总是在升级。攻击者总会不停地试探审核的规则和工具的规律，设法通过新花样绕开屏蔽。网易云安全技术团队在于黑/灰产的斗争中对此深有体会。迪克森也承认这一点，但他认为攻击总是有迹可循的。
最后，文本信息只是评论的一部分，Perspective目前也只是侧重于语言暴力，并未覆盖比如恶意链接这样的垃圾信息，谷歌还需要面对图片、视频形式不良信息的挑战。但是，谷歌使用人工智能技术全面解放人工审核的决心是无可置疑的。
在视频方面，人工智能同样还不完美。谷歌仍然倚重广告质量评分员识别和标记敏感内容，为算法提升提供更多、质量更高的数据：谷歌要求他们对视频标题和内容做更细致的评级并进行分类，例如“不当言论”包含“亵渎”、“仇恨言论”或“其他”等，“暴力”内容包含“恐怖主义”、“战争与冲突”、“死亡悲剧”等，此外还有“毒品”和“性/裸露”（具体分类为“虐待”、“裸体”和“其他”）等。
中国公司行动启示
基于人工智能的内容安全解决方案是不完美的，但中国企业也必须承认人工智能的高效率、远超关键词过滤的精准度，以及未来的潜力。那么，采用人工智能技术来维护在线交流氛围是必须考虑的选项。同时，人工智能的精准度取决于足够多的高质量输入数据，由于国内外的网络环境、政策具有差异性，网民对相同言论的感觉和容忍度也有所不同，国内用户应当采用积累足够多国内特征库的服务商提供的技术方案，并积极提供包含新特征的数据，让人工智能算法与时俱进，以应对不断升级的攻击。
网易易盾提供高效的广告过滤、智能鉴黄、敏感词过滤、违禁检测过滤服务，21年专业审核经验打造高效能的内容审核管理平台，助力企业实现内容统一管控、全程溯源、实时审查，共建清朗网络空间，点击免费试用
信息来源：
The Hidden Laborers Training AI to Keep AdsOff Hateful YouTube Videos
https://www.wired.com/2017/04/zerochaos-google-ads-quality-raters/
Now Anyone Can Deploy Google’sTroll-Fighting AI
https://www.wired.com/2017/02/googles-troll-fighting-ai-now-belongs-world/
Check Out Alphabet’s New Tool to Weed Outthe ‘Toxic’ Abuse of Online Comments
http://fortune.com/2017/02/23/alphabet-jigsaw-perspective-comment-moderator/
YouTube Starts Rolling Out Its NewCommenting System Based On Google+
https://techcrunch.com/2013/11/06/youtube-starts-rolling-out-its-new-commenting-system-based-on-google/
相关阅读：