2024开年，OpenAI丢出王炸：文生视频AI模型“Sora”。
回顾过去，2022年，ChatGPT横空出世。我们迎来了标准意义上生成式人工智能（AIGC）的首次正式亮相。并且，通过“文生文”这一场景，以ChatGPT-3.5为代表的一众大语言模型（LLM）让AI的科技风潮席卷全球，尤其是中美等科技大国。
再往后，引爆AI作画领域的DALL-E 2、Stable Diffusion等AI模型又以“文生图”这一功能，让AIGC技术逐渐走入人们的视野和日常生活，也逐渐成为内容生产的新引擎，其强大的内容生产能力更是给人们带来了极大的震撼。
如今，OpenAI再次发布Sora这一“文生视频”AI模型，从过去一段时间官方发布的视频成果以及全球众多内测用户的体验来看，Sora可以说是AI发展历程上的又一革命性成果。
OpenAI官网截图
作为重要里程碑事件，“文生视频”AI模型Sora的惊艳之处在哪儿？对行业有何影响？新的技术应用又会带来哪些安全挑战？网易易盾希望与您一同探讨。
01.万物皆可AI，眼见不再为实？
Sora生成的多条短视频“大片”在全网刷屏，场景逼真丝滑、细节动人。这是OpenAI首次进军AI视频生成领域。官方介绍，Sora使用Transformer架构，可根据文本指令创建现实且富有想象力的场景，生成多种风格、不同画幅、最长为60秒的高清视频。
Sora生成视频截图
简单来说，只要几句指令性文本，就可以生成一条过往需要实景拍摄或者特效制作几小时乃至几天的视频。甚至我们可以想象，随着技术的革新，或许只需要动动嘴说几句话，转眼便可以生成一部特效大片。
据新华社报道，OpenAI在Sora技术报告的标题中写道，视频生成模型是“世界模拟器”。如果世界可以被模拟，那么真与假的边界何在？不少业内人士担心，Sora将为“深度伪造”（Deepfake）技术推波助澜。加利福尼亚大学伯克利分校信息学院副院长法里德表示：“当新闻、图像、音频、视频——任何事情都可以伪造时，那么在那个世界里，就没有什么是真实的。”
这正是网易易盾所担心的。
在不真实的前提下，未来各种视频内容还将会引发一系列问题，例如人像伪造侵犯肖像权、虚假新闻报道、错误知识传播等等。
作为研究产品，OpenAI将首先面向少数精心挑选的创作者和安全专家发布Sora，以进行红队检查，并揭示其潜在的安全漏洞。
未来将一定会出现更多的“文生视频”AI模型。但好在站在AI革命开端的我们，已经意识到并开始思考AIGC内容可能会对人类社会造成的影响以及着手应对。
02.若再次群「模」乱舞，如何守住安全底线？
其实，AI生成视频也不是什么新鲜事了。只是这次Sora模型生成的视频在最终呈现效果上有了跨时代的创新进步。
在这次的Sora发布之前，也已经有一些视频生成AI，比如Pika、Stable Video、RunwayML等等。与Sora相比，其他模型生成视频的时长都比较短，而且在摄像机的运动、镜头切换等方面也要弱很多。
我们并不担心AIGC相关技术的发展，更非唱衰AI发展，只是在如此迅猛的发展速度面前，我们意识到必须要在其他方面也跟上技术发展的速度，关于信任、关于安全、关于合规这些底线问题。
在没有AIGC的时代，我们的身边尚且已经在不断地出现各种假新闻、假消息，甚至用一张“牛头不对马嘴”的图片都能捏造一段匪夷所思的谣言。而今在AIGC的助力下，生成假新闻，制作极其逼真的假图片、假视频并以病毒式传播在大众网络上进行散发信息——这一切只需要一个会使用AI的人就能在短时间内进行批量化的生产。
早前，世界经济论坛发布了《2024年全球风险报告》。今年的报告中，在十大短期风险中，利用人工智能操纵假新闻进而影响各个大事件的担忧位居2024年最大风险之首。这足以说明，包括虚假内容在内，如何防范AI的各类内容风险，已俨然成为新技术浪潮出给全球各国的一道重要考题。
以我国为例，《生成式人工智能服务安全基本要求》对内容挑战做了以下分类。
违反社会主义核心价值观：生成不当内容，存在色情、反动、恐怖主义、虚假有害信息、法律禁止的内容传播。
歧视性内容：生成内容存在偏见、歧视，对性别、种族、年龄、健康、信仰的歧视。
侵犯他人合法权益：生成内容侵害他人个人隐私、肖像、个人信息权益。
内容不准确、不可靠：生成内容不符合科学常识、主流认知，内容存在不严谨、错误。
在过去一年多的实践应用中，网易易盾发现，防范AI风险的难点集中于上线备案申报、AI被套话、歧视偏见、以及AI诈骗这四个方向。
因此，在网易易盾的AIGC大模型全生命周期内容风控体系中，网易易盾通过场景入手、以算法作为底层支撑，覆盖模型训练、模型上线到内容生成全流程，为大模型厂商提供全面、专业的解决方案。
值得一提的是，数日前，网易易盾就与荣耀达成合作，以AIGC数字风控模型助力荣耀魔法大模型MagicGuard安全根技术构建。
以现在的发展速度看，未来的每一天，我们都有可能随时接收AI发展带给我们新的惊喜。这条通往AI未来的路上，网易易盾作为数字内容风控领军者，愿成为每一家开展AI业务企业的可信伙伴，护航伙伴发展。