接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

《科创板日报》12月5日讯(编辑 宋子乔) 前有“AI教母”李飞飞,后有谷歌DeepMind,大模型的热度还在,大世界模型又成为焦点。

继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界模型Genie 2,可通过单张图片或文字描述生成3D场景。

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

相关论文

时间仅相隔一天,两个AI工具的功能非常相似,核心在于:

1、一张图生成可交互3D场景:据谷歌介绍,用户只需提供一张图片(由Imagen 3生成)和文字描述,Genie 2就能生成一个可交互的3D场景,并以720p的清晰度呈现。通过鼠标和键盘控制,用户可以在其中自由探索长达1分钟,大多数能稳定运行10到20秒。

2、空间记忆能力:Genie 2生成的内容能让当用户在虚拟环境中移动时,即使某些区域暂时不在视野范围内,系统也能保持这些区域的一致性。World Labs同样可以做到这一点,即使你把视线移开然后又回来,已生成的3D场景也不会改变。

3、扩图能力:Genie 2能在过程中实时创造出符合逻辑的新场景内容,并且可以在长达一分钟的时间内保持整个世界的一致性。这指该AI工具的可预测3D场景能力,World Labs也能让AI工具仅凭部分图片就能“扩图”,想象出整个3D场景。

下面是谷歌给出的demo范例:

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

2D图生3D场景(可多个视角)

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

可交互(包括与生成的NPC交互)

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

空间记忆能力

不过,似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道,普林斯顿AI创新中心创始人、主任,终身教授王梦迪表示:“李飞飞的World Labs和谷歌的Genie2看上去都是从一张图片生成可以交互的三维场景,但有本质区别。Genie2还是video diffusion(视频扩散),每一帧的生成都是pixel prediction(像素预测),并通过额外的用户输入的guidance(引导)来影响下一帧的概率分布。而飞飞的World Labs是更进一步挖掘世界的物理本质:从图片出发,估计图片中不同景物的深度和相对关系,生成了更加物理世界的3D环境建模,不仅仅是可互动视频”。

另外,一个细微区别是,World Labs将应用领域侧重于影视制作,而谷歌侧重于游戏制作。Genie 2发布后,DeepMind CEO Demis Hassabis直接邀请马斯克一起制作AI游戏,马斯克回复:Cool。马斯克此前声称,xAI将开办一家AI游戏工作室。

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

重视游戏场景并不意外,DeepMind也承认了这点:“从我们早期与Atari游戏的合作,到AlphaGo和AlphaStar等突破性成果,再到我们与游戏开发者合作研究通用智能体,游戏一直是我们研究的重心。”

作为Youtube的母公司,谷歌还拥有Youtube里上亿小时的游戏视频数据。

值得注意的是,Genie 2为代表的大世界模型能快速创建无限多样的、可操控的3D环境,这些3D环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。

谷歌研究人员Jack Parker-Holder给出了两个实例,其中,一张图上有一个红门和一个蓝门,向模型输入不同的语言指令,可以生成不同的3D场景,走向红门或蓝门。

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

在更复杂的三门场景中,Genie 2依然很好地理解了指令并生成了研究人员想要的3D动图。

接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

上述研究人员表示,相信Genie 2可以解锁具身智能体的下一波能力。

社会消息

小K播早报|华为发布会将介绍液冷超充新进展 上海:到2026年5G-A用户达到500万户

2024-12-5 9:16:37

社会消息

国家发改委:引导冰雪旅游目的地从单季开放向四季运营转变

2024-12-5 16:52:22

搜索