作家｜大模子灵活组

在新一期a16z播客节目中，由a16z合资东谈主Erik Torenberg主理，与World Labs联接创始东谈主兼CEO李飞飞，以及a16z合资东谈主 & World Labs早期投资东谈主 Martin Casado 进行了一场对话。共同沟通了"全国模子"的意见——即AI系统能相接并推理物理3D全国，而不仅限于文本。

被誉为"AI教母"的李飞飞解说了为何空间智能是现时AI系统要害却缺失的构成部分，以及她的新公司为何全力攻克这一挑战。Martin共享了他们早在该理念流行前就达成共鸣的故事，并诠释这可能界说机器东谈主、创意产业和忖度自己的改日。

从谎言语模子的局限到具身AI的远景，从个东谈主掌故到深度技巧知悉，这是一场对于构建真实与诬捏全国智能本体的商榷。以下是这期节想法内容实录：

Erik Torenberg：

Martin ，你能不可简要隘代表飞飞吹嘘一下，跟不纯熟的东谈主转头下你对AI的孝敬。

Martin Casado:

大众对她并不生疏无需过多先容，她作念了太多的事，我皆说不完。是以也许我只说一些与现时话题有关的事。固然，她是 Twitter 董事会成员，曾任职于谷歌。她照旧 World Labs 的创始东谈主兼CEO。但相配贫瘠的是，就像咱们皆知谈的，AI范围里，大众皆在评述神经网罗，也有好多东谈主专注于让这些神经网罗更有用。但飞飞真实地将数据引入了这个方程式，而当今咱们意志到，数据可能才是更大、更真谛的问题，是以大众皆称她为“AI之母”。

Erik Torenberg：

飞飞，你为什么选用 Martin 成为首位投资者？

李飞飞：

起初，我贯通 Martin 依然十多年了。2009年我看成助理讲授加入斯坦福大学时，Martin 正在那儿攻读博士学位。是以我一直皆了解他，固然， Martin 的导师 Nick McCune 是我的好一又友。我一直知谈 Martin 会成为一位相配获胜的企业家和投资者，咱们往往碰头和相通。

当我构想 World Labs 的想法时，我在寻找我所谓的“独角兽投资者”。我不知谈这个词是否准确，但我即是这样称号他的。他不仅是成就斐然的投资者，能和创业者沿途履历升沉，有深刻见识，能带来常识、冷漠和资源的东谈主，但我至极需要一位才气伙伴。因为 World Labs 作念的黑白常深度的技巧。咱们正在尝试作念别东谈主从未作念过的事，咱们信服这将真实改换全国。我需要一个既是忖度机科学家，又是AI揣测者，了解居品商场、商场引申政策的东谈主，还能随时与我进行才气对话。

Martin Casado:

执行上，咱们起初结缘的故事还挺真谛的。飞飞显着想考这个想法依然很深远，以至在神气启动前好几年就开动了。她一直在说她对AI要如安活着界中运行有着深刻的直观。其时咱们参加了 Mark 的豪华午餐会，有好多AI范围的东谈主皆在，大众皆对谎言语模子相配快乐，皆在评述话语。我我方也得出了一个沉寂的论断，因为我作念过好多图像投资方面的使命，我合计话语并不是故事的绝顶。

其时飞飞坐在餐桌另一头，听着这些东谈主评述。她拜谒我：“你知谈咱们缺什么吗？咱们缺一个全国模子。”我其时就想：“没错！”那一刻一切皆对上了，因为我一直在宏不雅层面想考这些问题，但她就像往常同样，精确地诠释了这个不雅点。她为此想考了一年，和好多东谈主相通过。是以在某种进程上，咱们各自同归殊途，得出了相配相似的直观。她的想法更完善，我的则仅仅个初步的意见。但从那之后，咱们进行了屡次交谈，咱们皆招供这个想法。

李飞飞:

执行上，你们可能不知谈，在那次午餐时，咱们一拍即合，皆招供全国模子的想法。但那时我依然在和不同的东谈主相通了，不仅仅忖度机科学家和技巧东谈主员，还有投资者和潜在的贸易伙伴。说真话，大多数东谈主皆没相接。当我说全国模子时，我能嗅觉到他们仅仅规定地方点头。是以我给 Martin 打电话，说：“你珍贵来斯坦福和我喝杯咖啡吗？”

我对 Martin 说：“你能给我界说一来全国模子吗？”我确凿想阐述下 Martin 是不是确凿相接这个意见。他对全国模子的界说是一个真实相接全国3D结构、体式和组合性的 AI 模子，这和我想的完全一致。我其时就想：“哇，他是我到咫尺为止交谈过的东谈主中唯逐一个真实相接的，而不是只点头歌颂的东谈主。”

Erik Torenberg：

好的，咱们接下来会聊聊World Labs 以及具体情况，但无意起初咱们先回到你们读博时期和讲授时期，并反想一下。如果你们能回到曩昔，况且理会曩昔十年AI范围发生的事，你们合计最大的无意会是什么？或者说有什么是你们当初没意意想，会让年青时的我方感到记挂的事？

李飞飞：

这提及来很调侃，就像 Martin 说的，我是把数据引入AI全国的东谈主，但我仍然在神志上相配惊诧，这些依赖广泛数据的模子、数据驱动的AI能发展到如今的进程，况且确凿展现出了想维机器般令东谈主难以置信的暴露性活动。

Erik Torenberg：

为什么要再创办一家基础模子公司呢？为什么不专注于谎言语模子呢？

李飞飞：

我的学术追求不在于创办公司或发表论文，而在于寻找北极星问题。是以不是我某天醒来，就说一定要开家公司。在曩昔几年里，我每天醒来皆在想，全国上远不啻话语。话语是一种相配强盛的想想和信息编码神气，但它并不是对3D物理全国的有用编码，而通盘动物和生物皆生活在这个3D物理全国里。

如果你不雅察东谈主类智能，好多皆超出了话语的范围。话语是一种有信息圆寂的捕捉全国的神气。而且还有一个精巧之处，纯正的生成式“话语”在当然界中并不存在。咱们环视四周，莫得现成的句子或单词，而通盘这个词物理、感知、视觉全国却真实存在。动物的通盘这个词进化史皆是竖立在广泛感知和最终具身智能之上的。东谈主类不仅生计、生活、使命，还通过构建和改换全国竖立了文雅，这即是我想责罚的问题。

为了责罚这个问题，揣测显着很贫瘠。我看成学者花了好多年作念揣测，也很享受这个经过。但我如实意志到，至极是和 Martin 相通后，当今是时候聚首行业级的力量，至极是在忖度、数据和东谈主才方面聚首发力，才能真实完了这个方针。这即是我创办 World Labs 的原因。

Martin Casado:

Erik ，你不错作念一个节略的想维实验，来突显话语和空间的鉴识。如果我把你放在一个房间里，蒙上你的眼睛，然后给你描写这个房间，再让你完成一项任务，你获胜的可能性相配小。比如我说：“在你前线十英尺处有一个杯子，左边还有……”这是一种相配不准确的描写现实的神气，因为现实相配复杂、精确。

反之，如果我拿掉你的眼罩，让你看到执行的空间，你的大脑执行上会重建3D空间，然后你就不错去操作主西、触摸东西。是以不错这样相接，咱们进行广泛的话语处理，用它来相通和传达高脉络的想法等。但当波及在现实全国中导航时，咱们真实依赖的是全国自己以及咱们重建它的才气。

Erik Torenberg：

你是若何以及何时意志到话语可能不够用的？因为这似乎并莫得得到正常瓦解，我也不是往往听到这方面的商榷。

Martin Casado：

如果问我最大的冲破性发现，那即是话语技巧先获取了进展，而咱们在机器东谈主技巧上参预了好多极力，仅自动驾驶汽车行业，咱们在这个行业参预了好像1000亿好意思元。我铭刻2006年 DARPA（好意思国国防部高档揣测缱绻局）挑战赛，咱们皆本旨“自动驾驶汽车成了！”。但20年曩昔了，参预1000亿好意思元，这还仅仅一个二维问题。咱们蓝本的道路是先责罚全国导航问题，但限制极其困难。陡然出现了谎言语模子，它们经济高效，险些顷刻间就责罚了好多话语问题，我花了一些时辰才相接。

飞飞说得相配好，我花了一些时辰才相接，咱们大脑话语处理区域很新，咱们成果其实很低，忖度机更擅长不及为奇，但大脑中认真导航、空间感知的部分依然存在很深远，可能有几百万年，也许从爬活动物脑期间就有了，约莫有四百万年。

李飞飞:

以至更陈旧，如三叶虫期间。

Martin Casado:

是以这就像是咱们正在重现进化历程。话语部分对于高脉络意见和一些脑力使命相配贫瘠，这亦然咫尺它正在对白领使命范围产生影响的范围。但当波及空间时，从机器东谈主技巧到任何需要构建物理实体的范围，皆必须责罚这个问题。咱们从自动驾驶汽车范围就知谈这是个相配辣手的问题。而退化波澜给了咱们一些若何责罚这个问题的想路，其时恰是揣测良机。

李飞飞:

我的履历不太同样，因为我专注从事视觉揣测，是以我不需要谎言语模子来让我信赖全国模子的贫瘠性。声明并非斥责话语。执行上，看到ChatGPT、谎言语模子和这些基础模子获取如斯冲破性的获胜让我很快乐，这让咱们意志到全国模子完了的时刻越来越近了。

就像 Martin 表述很精妙，3D空间与心智空间，这种空间智能能让东谈主作念好多稀薄话语的事情，是智能的要害部分。从邃古动物到东谈主类最具翻新性的发现，比如DNA双螺旋结构，仅靠话语是无法推理出来的，这是我最爱的科学例证，我合计他的例子是巴克球，碳分子结构遐想得相配细致。这样的例子自大了空间和3D全国的难懂。

Erik Torenberg：

让咱们更具体地想象一下。当 World Labs 完了其愿景，或者话语全国模子完了其愿景时，有哪些专揽场景或用例不错具体说明呢？

李飞飞：

有好多。比如，创造力很猛进程上是视觉化的。从遐想、电影、建筑到工业遐想，创作家波及多个范围。遐想和创意不仅用于文娱，还可用于进步坐褥力、制造机械等好多方面，这自己即是一个高度视觉化、感知化、空间化的使命范围。固然，咱们提到的机器东谈主技巧，对我来说是指通盘具身机器，不仅仅类东谈主机器东谈主或汽车，中间还有好多种类。但它们皆需要相接3D空间，需要测验相接3D空间，并进行任务履行，有时以至要与东谈主类合作，这固然需要空间智能。

我合计让我相配快乐的小数是，在通盘这个词东谈主类文雅历史中，咱们通盘东谈主皆共同生活在一个3D全国里，也即是地球的物理3D全国。唯独少数东谈主去过月球，但东谈主数相配少。而这项技巧让数字诬捏全国变得无比精彩，它结合了生成和重建。

陡然间，咱们执行上不错创造无穷的天地。有些是为机器东谈主创造的，有些是为创造力创造的，有些是为外交创造的，有些是为旅行创造的，有些是为讲故事创造的。陡然之间，咱们能够生活在一个多元天地中，想象的空间是无穷的。

Martin Casado:

这些商榷听起来可能很轮廓，但执行上并非如斯。它们听起来轮廓是因为这个范围相配正常，就像谎言语模子同样横向通用。如果问谎言语模子擅长什么，消亡个谎言语模子可用于神志相通、编写代码、列清单，还不错用于自我完了。

我认为咱们不错相配具体地说明这些模子能作念什么。有了这些模子，你不错通过对全国的二维视角，在忖度机中创建一个好意思满的3D示意，包括你看不到的部分，比如桌子的背面。仅通过二维视角，你就能得到好意思满的信息，你不错问“用这个模子能作念什么？”，然后你不错对它进行操作、挪动、测量、堆叠，是以在空间中能作念的任何事情皆不错完了。这意味着不错用于建筑遐想、创意遐想。而且能够填充桌子背面的信息意味着不错创造蓝本不存在的东西。

比如，我唯唯一张二维图片，就不错创建一个360度的好意思满视图。这即是完全的生成式才气。这意味着不错用于视频游戏、创意遐想等范围。这是一个超等横向的技巧，它不错通过忖度机对全国的单一或多个视角，创建一个好意思满的3D示意，然后忖度机就不错基于此进行操作。不错看到，这对从机器东谈主技巧到视频游戏、艺术遐想等各个范围皆有着要害的作用。

Erik Torenberg：

似乎直到当今咱们才充分贯通到3D元素的贫瘠性，这样联络理吗？

李飞飞：

这样说是合理的。执行上，这履历了很长的进化经过。3D问题并拦阻易责罚，但我总会想起几年前我和我六岁孩子的一次对话，对于为什么树莫得眼睛。根柢原因是树不会挪动，是以不需要眼睛。动物人命的基础是挪动、活动和交互，这就催生了感知和空间智能。而空间智能，就像 Martin 说的，将全面重塑东谈主类的使命和生活神气。

Erik Torenberg：

一定如果3D的吗？为什么不可只用二维呢？

李飞飞：

物理时事发生在3D空间中，交互也发生在3D空间中。在桌子背面导航需要在3D空间中进行。不管是在物理全国照旧数字全国中构建事物，皆需要在3D空间中进行。是以从根柢上说，这是一个3D问题。

Martin Casado:

一种想考神气是，如果是东谈主类看二维视频，东谈主类不错在脑海中重建3D空间。但如果是一个机器东谈主，它的模子输出是二维的，然后让它去完成一些任务，比如测量距离、持取东西，就会勤奋要害信息，唯独X、Y轴，因为勤奋了Z轴信息。是以对于好多与空间有关的任务，需要向忖度机提供3D信息，这样它才能在3D空间中导航。二维视频对东谈主类来说没问题，因为咱们不错将其转动为3D信息，但对于任何忖度机形态来说，皆需要3D信息。

李飞飞:

执行上，我想讲共享个躬行履历。约莫五年前，我因为眼角膜受伤，有几个月失去了立体视觉，只可用一只眼睛看东西。就像 Martin 说的，我一世皆风俗了立体视觉。是以即使只用一只眼睛看，我好像也知谈3D全国是什么样的。但看成又名视觉科学家，那段时辰对我来说是一次真谛的实验，让我体验了另一种看全国的神气。

有一件事让我印象深刻，我不敢开车了。起初，我不敢上高速，速率太快我粗犷不来。我只可在我方家隔壁开车，我发现我无法很好地判断我的车和路边停着的车之间的距离，即使是在一条小径上。尽管我相配澄澈我的车有多大，也好像知谈邻居家停的车有多大，而且我在这条路上开了好多年。但开车的时候，我只可开得很慢，时速险些唯独十英里，以免刮到其他车。这即是咱们需要立体视觉的原因。

Martin Casado:

这很好地说明了为什么在进行某些处理时，3D信息是必不可少的。

李飞飞:

没错，我不疏高大众尝试，但如果你有空，不错用一只眼睛看，然后停一辆车，再开另一辆车，感受一下。

Erik Torenberg：

在谎言语模子方面，好多揣测是由大公司完成的。咫尺这个范围的揣测进展若何？

李飞飞：

与谎言语模子比较，这填塞是一个较新的揣测范围。但也不可说全新，因为在忖度机视觉范围，咱们一直在作念有关的揣测。举例，3D忖度机视觉范围的一个贫瘠冲破是神经发射场（NeRF），是咱们的联接创始东谈主 Ben Mildenhall 和他在伯克利的共事们完成的，这是一种完了3D的神气。四年前，深度学习重构技巧曾席卷全球。咱们还有一位联接创始东谈主 Christoph Lassner ，他的首创性使命是高斯泼溅示意法复苏起来的原因之一，这种次第用于发扬3D体积数据。

固然还有 Justin Johnson ，他曾是我的学生，亦然 World Labs 的联接创始东谈主，他们属于第一代深度学习忖度机视觉范围的学生，在图像生成方面作念了广泛奠基性使命。在 Transformer 出现之前，咱们用GANs（高斯次第）进行图像生成，还有作风挪动技巧，这引申了咱们当今所作念使命的一些构成部分。学术界和工业界皆在开展有关使命。在 World Labs ，咱们信服要专注于这个最贫瘠的中枢问题，会聚忖度机视觉、扩散模子、图形忖度机图形学、优化、AI和数据等范围最机灵的东谈主，构成一个团队，极力让这个神气取获胜利并完了居品化。

Martin Casado:

我并非这些范围的大师，但我要责罚这个问题开云官网切尔西赞助商，需要AI范围的大师，包括在数据、模子架构方面的大师，也需要图形学大师，他们不错责罚忖度机内存和屏幕呈现问题。是以我认为这是一个相配至极的团队，能攻克这个难题，而飞飞依然获胜组建了这个团队。