Sora颠覆的行业,远不只是影视制作

资讯7个月前发布 hiailand
533 0 0

Sora真正革命性的进步并不是视频生成

Open AI在2月14日发布视频生成模型Sora,由于对现实世界的仿真效果过于惊艳,引发“影视行业将被彻底颠覆,影视制作人员都要下岗”的惊呼。

不过也有人认为,Sora虽然强大,但影响力似乎只局限于影视、游戏等视觉表现领域,远远不及ChatGPT这种应用更广泛、对生活的大语言模型。

实际上,Sora并不只是视频应用这么简单。

比如说,视频中被前景的人遮挡的商店,如果人移动开,就会显现出来,这对人脑是很平常的场景,可如果要让电脑理解,以前都是通过3D建模,告诉电脑两者之间的空间关系,但现在机器自动生成,就意味着算法能自己理解这些真实世界中物体的物理运动关系。

所以它更大的意义是实现通用人工智能(AGI)的重要里程碑。

这可是一个非常重要的突破。物理法则并非先天就存在于我们的大脑中,举个例子,1岁以内的婴儿,当正在逗他玩的母亲躲到墙后面,虽然婴儿能看见母亲的移动,但他并不理解为什么母亲会消失,只有无数次看到母亲从一个地方消失又出现,他才能渐渐理解这个世界的物理法则,包括3D一致性、物体连贯性等。

Sora是怎么做到这点的呢?

从官方的技术文档中看出,Sora的模型架构为“扩散模型+transformer”,扩散模型就是现在大部分文生图的大模型,而transformer就是ChatGPT的大语言模型,后者是质变的关键。

Sora借鉴transformer将文本信息转化为token的思路,训练时将大量不同画幅的视频素材划分成若干个tuplet,每个tuplet会变成一个带有空间和时间视频表征的时空patches,这才是它理解世界的关键。

传统的视频产生的方法是将视频简单分解为一系列连续的帧,但并不包括每一帧中物体的位置和运动的空间信息,就像1岁的婴儿眼中的世界是二维的,并不存在母亲移动的时间与墙的空间的关系,所以无法理解母亲为什么消失。

而以时空patches为“积木”进行堆叠的Sora大模型,可同时考虑视频中物体的时空关系,能够更加精准生成视频中物体的细微动作和变化,保证内容连贯性,就像二岁以后的孩子,就能理解母亲不是消失,而是在墙后面。

当算法理解了这个世界的真实物理关系,可以认为,Sora的应用能力绝不仅仅是视频生成。

Sora颠覆的行业,远不只是影视制作

当AI遇到真实世界

到目前为止,生成式AI去理解和创造的,包括文字信息、声音、画面和视频,都是人创造出来的信息世界,而非真实的外部世界。它能帮你找到100首关于庐山的唐诗,但它无法与现实世界里的庐山联系起来。

Sora让我们看到了AI与世界互动的可能,Sora可以模拟一些简单的动作来影响世界的状态,画家可以在画布上留下随时间持续存在的新笔触,或者一个人可以吃一个汉堡并留下咬痕,如果Sora真的理解了这个过程,那就应该能把这个过程运用到真实的世界中。

比如工业软件。

目前有很多仅用于单一领域的工业软件,它们可以精确地模拟工厂某个流水线上的真实世界的物理行为,如物体运动、流体流动、结构响应以及各种环境条件下的系统性能,但这些工业软件没有人工智能,完全依赖编制好的程度运作,一旦环境改变,就“熄火”了。

Sora颠覆的行业,远不只是影视制作

相反,Sora这一类通用人工智能模式,在模拟个别物理世界时,存在不合逻辑的错误,无法理解其中的因果关系,比如椅子飘浮在半空,老太太吹生日蛋糕上的蜡烛,火苗甚至没动。

未来,Sora可以为这类专用的工业软件赋予人工智能,令其能解决更复杂的问题,达到熟练工程师的程度,这就是Sora影响真实世界的方法。

再比如智能驾驶。

特斯拉同样开始了对世界模型的探索,可以同时对车身周围八个摄像头的未来情况进行预测,可以精准的模拟过去难以描述的场景,如烟尘,可以用来做分割任务。

目前智能驾驶仿真采用 NeRF+素材库排列组合+游戏引擎的技术路线,虽然保证了场景的真实性,但人工智能的泛化性不足;而Sora这一类世界模型能够理解物理世界运行规律、同时具备泛化到训练样本以外的能力,能够迅速生成非常真实和多样化的驾驶场景用于智能驾驶仿真。

根据马斯克推特的公开回复,业内推断特斯拉大概率和 Open AI 一样采用的是 Diffusion+Transformer 生成式 AI 的技术路线,所以,未来Sora一类的模型,很可能成为智能驾驶的基座模型。

从工业软件和智能驾驶这两个方向,可以明显看到Sora颠覆的决不仅仅是视频制作这个领域。

AI的投资机会

最后还是回归到投资,看看Sora会给我们带来哪些新的投资机会呢?

首先还是算力,伴随Sora不断迭代调优,训练数据集规模增大,未来算力需求将呈现指数级爆发式增长,所以最确定的还是上游算力基础设施的投资机会; 

其次是应用,技术上的突破指出了方向,那些拥有强大工具产品的视频模态相关标的有望受益,特别是海外业务占比高的公司;

最后还要关注一些工业软件的公司,这类公司往往具有仿真算法和各类物理模型,与大模型公司合作,可以提升软件的应用能力;同时,大模型公司与之合作,也能显著提升视频生成模型在表现物理世界的复杂性和准确度。

本文来自微信公众号“人神公奋”(ID:tongyipaocha),作者:思想钢印

© 版权声明

相关文章

暂无评论

暂无评论...