人工智能（AI）算法对Facebook较为成熟的内容安全系统贡献巨大，然而随着Facebook业务的扩张，不断进步的AI也不免尴尬 – Facebook开放的直播功能，被谋杀、自杀等暴力视频困扰，而AI未能帮助Facebook及时阻止这些视频，这将Facebook推到风口浪尖。这家拥有无数AI大神、贡献大量开源工具及优质论文的互联网巨头，不得不宣布招募3000多名内容审核人员，用最传统的办法对抗这类暴力视频。
AI技术在暴力视频面前究竟能发挥多大的用处？Facebook针对AI失效的状况启动了哪些应对措施？对抗暴力视频，真的只能靠人海战术吗？
对抗暴力视频，Facebook的两难选择
时间退回到美国东部时间4月16日（周日），从美国男子史蒂芬·史蒂芬斯（Steve Stephens）上传一段57秒他拍摄的自己杀人视频到Facebook上，到Facebook接到举报并关闭他的Facebook主页，这个视频在他的Facebook主页上停留了2个多小时。如此长的一段时间，足以让成千上万的Facebook用户观看和分享这段杀人视频，让第三方网站将视频下载并重新上传到自己的服务器。由此，以Facebook为代表的社交媒体公司面临一个重大难题：如何才能让这些令人毛骨悚然的内容远离网站？应该如何删除这些有害的内容？这起谋杀案还提醒我们，一旦这类东西被传上网和分享出去，它们将很难被从网络中完全删除。那么，企业应该为预防这些内容出现付出多少？
防止视频被人看到的最好办法，是让它永无上传之地。Facebook可以采取这样的措施：坚持让某人（或某物）先审查用户尝试发布的每个视频，并且只允许通过审核的视频能够被上传。然而，如果用户想要发布一个关于吸尘器上的猫的视频，也不得不等待Facebook的批准，他很可能就会在其他网站上发布这个视频。这等于放弃一大批渴望立即、轻松分享生活的用户，这是Facebook难以承受的。
另外一个建议是，Facebook在令人反感的视频被发布后立即将其删除，但问题是这不具备可操作性- 算法自动删除这类视频的技术还不成熟，而雇佣足够的员工手动执行也不切实际。如果Facebook允许算法删除视频，出错将是不可避免的。退一万步说，即便Facebook的服务条款把这项权力给算法，Facebook也将被指控。那会有一个令人沮丧的结果，因为没有人会接受算法错误地删除他们的视频的可能性。这也是Facebook不能承受的。
因此，Facebook现在采用多管齐下的应对方式。前端是用户，Facebook依赖观看视频的用户标记出像斯蒂芬斯上传那样的暴力视频。用户的背后是人工智能算法，它可以找出与已知儿童色情相关的ID的视频。当视频被标记后，它们被发送给Facebook的内容审核人员，他们的工作是观看这些视频并确定是否应该删除。这个系统是不完美的，但是现在人类审核人员比AI更为聪明。
然而，最终，AI将能够有效地标记史蒂芬斯上传的那类视频，届时，AI将可协助人类，增强人类的技能。Facebook的AI研究院主管Yann LeCun表示：“坦率地说，我相信这是一项可以完成的任务，如果有足够的追踪数据。”虽然LeCun拒绝回答如何应对这类特定视频的问题，但他表示AI很快就能做到更多。毫无疑问Facebook将能够使用AI来实时监控视频并标记谋杀视频，问题是什么时候实现。
AI黄金时期尚远
理想状态下，Facebook如此处理斯蒂芬斯的视频：当他第一次上传自称打算杀人的视频时，AI赋能的软件会立即“观看”该视频，并将其标记为高优先级。这个标记会提醒Facebook人工审核团队，看到直接和可怕的威胁，删除视频，关闭斯蒂芬斯的帐户，并通报当局。
这并未发生。根据Facebook全球业务副总裁Justin Osofsky的声明，根本没有人标记第一个预告杀人的视频，而第二个谋杀视频在斯蒂芬斯上传超过一个半小时之后才被标记。Osofsky还表示，从该视频用户标记出来，Facebook审核人员花了23分钟就把它拿下。
但问题仍然是当前的工作流程。AI还不够聪明，无法识别第一个视频中的危险因素，甚至第二个视频显示的谋杀案。AI需要处理斯蒂芬斯的语言，解析其言论和语调，以区别于玩笑或表演，并认真对待威胁。“有这方面的技术，但不清楚它们整合深度学习框架并能高效运行。而且由于缺乏常识，系统还犯一些愚蠢的错误，”LeCun说，“所有人和动物都在都学习常识，但机器现在还搞不懂。”
Facebook知道他们需要AI学习这些，他们在这方面投入巨资，并已在计算机视觉更适合的领域- 即儿童色情、裸露和版权侵犯，采用算法来帮助他们标记可疑的内容。Facebook CEO马克·扎克伯格（Mark Zuckerberg）表示，现在Facebook上有一半的标记来自AI而不是人，Facebook正在开发新技术，增加社区的能力。
但扎克伯格也意识到，审核人员现在必须继续与AI合作，斯蒂芬斯上传的视频就是一个很好的警示。扎克伯格在旧金山F8开发者大会上直接提到了这一争议。“我们还有更多的事要做。我们被克利夫兰的悲剧提醒了这一点，”他告诉参会者，“我们有很多的工作，我们将继续竭尽全力防止这样的悲剧发生。”
训练一台电脑识别此类暴力比要求它发现一个赤裸裸的身体要困难得多。这很像假消息的鉴别：它需要对上下文暗示和格式的复杂理解。
当前实用选项
由于训练能够简化流程的神经网络尚需时日，Facebook需要立即对其审核流程进行调整，否则公司在近期与暴力视频的对抗中仍将被动。Osofsky在斯蒂芬斯事件后发表声明说：“由于这一可怕的系列事件，我们正在审查我们的举报流程，以确保人们能够尽可能容易地、快速地举报违反我们标准的视频或其他内容。”
这意味着更容易地标记高优先级的内容，增加更多的审核人力，和更快的工作节奏。而这些人的审核人员将不得不继续训练AI，这本身就需要很长时间。训练AI有效识别令人反感的内容，需要大量的样本来学习。所以Facebook首先需要给机器提供足够的打标签的数据，而这需要很多审核人员观看无数次的暴力画面和威胁语言，这个艰巨的工作也需要时间。事实上，扎克伯格已经宣布计划明年雇佣超过3000人来审核和删除Facebook上包含杀人、自杀以及其他暴力行为在内的内容。并且Facebook设立了黑名单，4500个违反Facebook反暴力规则的用户，将不能进入这个招聘流程。
当考虑到Facebook Live时，挑战会更大。直播视频很难控制，这就是为什么有些人要求Facebook彻底放弃其Live功能。但这不现实，该公司去年推出此功能的本意就是与其他直播服务竞争。此外，这项服务已经具有对抗暴力事件的另一面。去年，在美国警方枪杀黑人菲兰多·卡斯蒂利亚（Philando Castile）之后，后者的女朋友用Facebook Live来捕捉射杀的后果，本质上是使用流媒体服务作为发送全球SOS的一种方式。
利哈伊大学新闻与传播助理教授杰里米·莱托（Jeremy Littau）表示，不管出于好的或是不好的原因，即时视频和直播视频已被广泛接受。“Facebook必须与这个现实竞争。”
除了放弃Live之外，Facebook可以像对待其他功能如广播网络一样对待Live，坚持所有视频都要延迟。然而由于上述原因，除非有人或某些东西来监控每个视频，否则这种延迟将不会有太大的用处，而这目前还不可能。
Facebook可以做的一件事是使得从Facebook下载视频变得更加困难，类似于Instagram（已被Facebook收购）的机制。这能阻止第三方网站抓取并重新分发像斯蒂芬斯4月16日上传的视频。这样一个小小的调整，不会影响Facebook成为网友首选的上传视频平台，但可以防止视频被上传到其他地方，并成为互联网上永远难以消除的记忆。
总结
社交媒体公司和用户在收获视频尤其是直播功能带来愉悦的同时，也面临不守规则的用户滥用平台功能传播暴力内容的严重威胁。由于问题的复杂性，以及缺乏足够的样本数据，目前先进的人工智能技术水平也还不能很好地帮助社交平台自动发现和移除暴力内容，Facebook除了优化举报流程，限制视频内容的二次分发，必须采用人肉的方式对抗这种威胁。这也意味着数目庞大的运营成本。毫无疑问企业未来需要训练人工智能算法来配合审核团队更高效地完成这项工作，Facebook正在为此努力。人工智能确实具有这样的潜力，然而没有人能预测这会发生在什么时间。为了让这一天早日来临，人工审核团队还需要尽快喂给机器足够多的标记数据。
网易易盾智能审核管理系统，21年专业审核经验打造高效能的内容审核管理平台，助力企业实现内容统一管控、全程溯源、实时审查，高效过滤暴恐、色情、广告、敏感类不良内容，点击免费试用
素材来源：
AI Isn’t Smart Enough (Yet) to SpotHorrific Facebook Videos
https://www.wired.com/2017/04/ai-isnt-smart-enough-yet-spot-horrific-facebook-videos/
本文由网易易盾团队根据Wired网站素材AI Isn’t Smart Enough (Yet) to Spot Horrific Facebook Videos 编译。
相关阅读：