“天下模子处置具身智能联系问题，会不会距离太远？”

作家丨张进

裁剪丨林觉民

在 12 月 13 日举行的第八届GAIR全球东说念主工智能与机器东说念主大会“数据&一脑多形”分论坛上，一场研究“一脑多形”的圆桌论坛，将整个这个词会场讨厌推向飞腾，在英诺天神基金 ED 王建明的主抓下，浙江大学适度学院副教师，微分智飞独创东说念主高飞，宁波东方理工大学助理教师金鑫，上海东说念主工智能实验室后生科学家王靖博三位嘉宾围绕着具身智能、空间智能、天下模子等话题进行了浓烈研究。

通过主抓东说念主罕见的投资东说念主式、抽丝剥茧的发问，围绕着几位学者的研究和创业标的，咱们可以了解到当下最火热的天下模子、空间智能在具身智能范围的研究发达和细节，从而得以穿透成本笼罩谢天下模子、空间智能的迷雾，看到具身智能当下碰到的挑战与机遇。

01

具身智能技能道路仍未拘谨

王建明：三位学者研究的标的都相称不一样，开场先问一个共性的问题热热场，大家若何看已往两年具身智能的发展？

高飞：当前还没到技能道路拘谨的时候，还属于探索阶段，这是功德，有发散才有契机。这波具身智能的飞腾，大家实践期待的照旧 AI 聚集实质能带来的智能性的飞跃。我认为从发散探索到技能道路拘谨、到终末落地阶段，大家照旧要记取我方作念具身智能的初心是什么。如果不是为了通用泛化智能，终末这个范围又拘谨回工业自动化了，可能就莫得太大的真义真义了。

金鑫：我也相称甘心高真诚的看法，我嗅觉这两年留给高校的契机相对产业界来讲比较少，但愿改日更多把具身智能的中枢问题交给高校去冲破，比如交互、东说念主机协同、多智能体、天下模子等等轮廓出的关节问题，产业去作念更落地的事情。但愿改日两年能看到高校跟企业更好地相助、均衡。

王靖博：比拟较在纯数字天下中作念一些举例scaling up 的事情，我更关注具身智能软硬件的 code design，比如东说念主形机器东说念主十年前的波士顿能源 Atlas 就展示出了很好的明白才气，但它并莫得从实验室的居品参加产业界，当有了较好的软硬件的 code design，可能会加速整个这个词范围的进度。

王建明：高飞真诚的演讲刚刚展示了非常多的才气，举例单个机器东说念主的自主旅途的霸术决策、集群、飞翔操作，demo 演示都相称惊艳，这些才气背后是如何作念到的？跟您过往研究是否有协同？

高飞：很难有一句话来说显著若何作念到的，不同的 demo 细目有不同的技能道路，我之是以比较擅长作念一些比较 fancy 的 demo，可能是因为我比较擅长在保抓着一定发散念念维的情况下，还有比较好的履行力，终末能把想法落实。在具体技能道路里，我的上风可能是：在无东说念主机范围，我可能是比较懂 AI 的；在 AI 范围，我可能是比较懂无东说念主机的。

单体机器东说念主的研究念念路是通过放大其极限情况下的小脑才气，当前比较得当拘谨的技能道路越来越往端到端的标的歪斜。通过端到端可以镌汰整个这个词系统的 compound error（复合缺陷）和镌汰延长。具体用什么解法，就要 case by case，作念 robotics 的平正即是这是很尊重客不雅事实、面向对象的一个学科，什么好用咱们用什么。

决策这块，当前业界的共鸣可能要通过放大 VLM的才气，而关于群体机器东说念主而言，打造一种柔性的、弹性的、分散式的、纯真的群体架构才是一切的基础。

王建明：我比较有趣无东说念主机的端到端是什么端到端？我的毛糙粗化连系大家说的端到端是一个黑箱操作，是data driven的事情。

高飞：我认为端到端和 data driven 是两个见识，举个例子，无东说念主机的端到端是图像输入，电机适度，那是不是一定要用到机器学习、黑箱、RL，其实不一定。20年前大家研究无东说念主机，就可能会在地上贴一个小球，无东说念主机的录像头看到这个小球，通过把小球的像素点适度在像平面中间，让无东说念主机可以保抓悬停。这是不是端到端？是，因为它用 PID把一端输入的信息——图像空间中的点缺陷，映射到另一端输出的适度辅导。

端到端是一种范式，强化学习是一种解法，黑箱是一种模式，三者是不一样的见识，不应该被径直画上等号。

王建明：是以高真诚的端到端也用到各式解法？

高飞：各式各样的解法，以处置问题为独一方针。

王建明：也有波及到强化学习？

高飞：当前用大批的强化学习。

王建明：无东说念主机的高速穿越我印象里有强调强化学习，高真诚的管事中照旧有一些 rule base 的东西存在？

高飞：咱们不叫rule base，咱们叫 model base 或者叫 principle base，咱们很少去写法规。大家经常会批判 rule base，可是如果只写了一个法规要若何解说你的算法可以在不同的方位避障。是以它一定不是一套法规，而是一种系统化的模式。

02

天下模子处置了自动驾驶的哪些问题？

王建明：金真诚刚共享了许多天下模子在自动驾驶范围的冲破，金真诚的研究标的主如果天下模子空间智能。最近一段时刻天下模子的见识很火，那么自动驾驶的具体什么问题用天下模子来处置了？

金鑫：当前第一梯队像特斯拉的决议基本都在用天下模子，之前他们辘集到的数据如故把数据飞轮转起来了，这样多数据上如故蕴蓄了大批的corner case，那么他们下一步可能就要通过天下模子模拟的模样再去生成更多海量数据，举例覆盖掉之前在国内采集的数据以及之前布局不到的方位。

再一个，跟原来通过离线数据考试比拟，通过天下模子模样可以作念闭环测试。闭环测试是指上线一个模子后，谢天下模子内部跑，跑完后能输出action得到改日的景色，再字据改日的景色测试下一步该若何作念，就能把整个这个词decision making 链路放到 world model 内部去作念闭环的测试跟优化。这是跟原来技能决议最大的不同。

当前天下模子在自动驾驶范围为什么这样火，主要照旧因为自动驾驶的场景生成照旧比较毛糙，不像机器东说念主。而自动驾驶范围很早就有天下模子的见识，只是叫法不一样叫闭环仿真器，用来作念自动驾驶安全测试。是生成式 AI 才气的进步才使得当前天下模子生成的数据如故到了真假难辨的地步，为此提供大批相称有价值的考试样本。

王建明：视频生成是一种天下模子，如果带上机器东说念主的3D空间，再加上许多动作维度，这个景色表征可以是多各种种的，那么在自动驾驶范围的表征是什么？是一个共鸣吗？

金鑫：机器东说念主范围天下模子道路究竟对不合还存在争议。关于天下模子的界说大家也有不同的看法，举例李飞飞跟 LeCun 就存在互异。李飞飞更偏重于\"pixel-wise\"（像素级）重建，LeCun 认为不需要重建成东说念主东说念主可见可视的video，径直“ latent-based”抒发出来对应的机器东说念主的 latent state 就可以了，它亦然一种天下模子，唯有能够给定前序的action，能够瞻望出后续的action，或者state景色应该若何变化，实质下个阶段会出现什么情况，唯有能把这个阶段轮廓地抒发出来，都算天下模子。

是以当前天下模子的界说还莫得定式，我认为在自动驾驶跟机器东说念主两个任务之间，关于天下模子的条件跟技能范式也都有永别。起首天下模子那篇 paper 建议的见识也很轮廓，唯有有能瞻望改日的才气况兼有牵挂，都可以被称为天下模子。

王建明：我不雅察到创业公司层面，当前作念天下模子创业的许多公司独创东说念主都有自动驾驶配景，我想了解下自动驾驶的景色表征到底是个什么？

金鑫：可能主流的照旧视频生成。因为牵连到安全性问题，如果连视频模态 RGB 的 video 都给不出来，如何校服生出来的数据是有用的？自动驾驶主要照旧视频的 ADAS，同期雷达、点云这些传统的数据也要有，是以这是我为什么要作念 UniScene，因为生成的模态越多，信息量越大，我认为 multi model 的前程可能更好。

每家主机厂都在作念我方的决议，因为对安全性的条件以及说念路场景的复杂度不同，偏重也都不一样，举例特斯拉即是纯视觉决议，华为有激光雷达赞助。

王建明：天下模子处置具身智能联系问题，会不会距离太远？

金鑫：前两天 LeCun 公布了多模态 V-JEPA，他一直声称我方的 latent space 即是天下模子的决议之一。如果要把天下模子打造出来，offline 先作念好，再去驱动具身，这个当前似乎莫得比较明确走通的技能决议，但像LeCun V-JEPA 径直通过 representation learning 模样先学到对应的瞻望才气，再去追问赞助，其实如故有不少管事，比如 VLA。

可是要说它走通了吗，把天下模子跟具身聚集起来的决议如故有东说念主在售卖了，但要说简直达到刚高真诚说的那种通用智能似乎又莫得，还需要时刻考据。

王建明：当前一种说法是把天下模子跟 VLA 对立起来，你刚提到其实这两种可以聚集。

金鑫：咱们昨天上线了一篇研究《Integrating World Models into Vision Language Action and Navigation: A Comprehensive Survey》即是将两者聚集起来。如何作念咱们梳理了两种模样，一种是先创建天下模子，再作念 policy learning，要么同期作念，不分先后。

王建明：两者聚集处置的是不同档次的问题？

金鑫：处置的照旧老问题，即蓝本 offline 数据集没办法通过 imitation learning 师法学习领有长程念念维和改日瞻望的才气。

高飞：异常于 MPC 中的 P(瞻望)。许多东说念主认为 MPC 中的模子即是机器东说念主，可以把其他整个景色都放到 model 里，也会往前瞻望。

王建明：我可以连系MPC 可能是用一个方程来 predict，而天下模子其实是用一个生成式门径来 predict？

高飞：我认为 MPC 内部的 M 若何来，其实是工程师跟科学家去作念了轮廓，而天下模子这种数据驱动即是用 AI 我方去探索。实践上如果咱们用更多 AI，以后就可以不需要那么多科学家去轮廓了。

王建明：那 predict 的下一个景色是什么样的？

金鑫：比如说一个长程任务，我要设想出来后头若何作念，就异常于把它轮廓成一个一个 long horizon 问题，当前最难处置的即是长程任务，有了天下模子之后，长程任务的连系、瞻望才气就能很好地赋予后续的 different policy 去学习。

03

什么是无东说念主机的空间智能？

王建明：王博士您主要作念全身适度（Whole-Body Control, WBC），把视觉引入到 Whole-Body Control，在这个标的，您合计简略到什么时刻点可能会兑现一个看上去还可以的通用适度器。

王靖博：如果说在仿真器里不作念一些力矩的限制，要兑现一个还可以的适度器不难，但会有精度的均衡，可能不太会像真的机械臂一样指哪打哪。

如果在真实天下里，要兑现这件事一方面是算法的问题，一方面也看硬件，在上海 AI LAB 有相称多不同型号的东说念主形机器东说念主，调换的算法跑出来许多不同的论断，我合计硬件才气的上限决定了什么时候能取得可以的得益。

王建明：高真诚您刚给咱们展示了多机的集群，包括多无东说念主机的协同，这是否有点像集群学习？

高飞：集群学习具体的界说我不太熟，可是咱们会接纳集合学习、分散打算的模式，学习、考试的时候在一皆，work 的时候各作念各的，可是大家都有一个共同的方针。

王建明：三位嘉宾共同辩论的另一个共同点可能还有空间智能，包括无东说念主机的空间感知、VLR（Vision-Language Reconstruction）。空间智能的界说也很大，若何连系无东说念主机范围的空间智能呢？

高飞：我合计空间智能的界说不吵嘴常廓清。感知是 robotics 相称热切的一块，上一代 robotics 发展快的一个根源在于 SLAM（即时定位与舆图构建）技能，当前许多作念 SLAM 技能都转行作念空间智能了。不是换了个见识，而是许多技能抓续复用，可能当前用的更多的是 learning based 门径像 VGGT或者其他 grounding model，但大家的主张可能访佛，都为了赢得机器东说念主对空间几何、 texture，以及各式信息的一种轮廓和表征。

原来一些 SLAM 作念不了的事情，可能需要 AI 技能进一步建模，之后进一步去作念 learning，是以才有空间智能的见识。

王靖博：我嗅觉大家对 Semantic（语义）的关注变多了，Semantic不仅包括物体的类别，用途，交互的模样，还包括物体中 Semantic 的可能性变多了。

王建明：空间物体的关系，语义信息等等都还处于比较早期的景色。

金鑫：比如从第一瞥左边驱动数第四个瓶子，访佛于这种比较复杂的空间关系的姿首关于机器东说念主来讲就比较繁难，尤其是关于作念机器东说念主大脑的公司来说很难兑现。这种空间才气即所谓的空间智能对东说念主来讲很毛糙，可是机器东说念主还不锻真金不怕火。

王建明：处置空间智能问题是缺数据吗？

金鑫：就像刚王真诚说的，已往大家对这种 semantic 没那么敏锐，也不会有这方面相应的解法跟数据。

高飞：我连系可能就像金真诚说的，大脑公司靠近的问题是因为大模子的数据来源于言语模态，本人其空间关系就很弱，是以大模子在空间关系上就会出现幻觉。可是传统的 SLAM 在这块很强，是以要构建专诚的数据集把这些信息对皆。

王建明：当前具身智能许多基座，VLM 中的“Vision”基本上是 2D 的，多模态本人在 3D 模态还比较欠缺，是以当前反倒是那些作念 SLAM 的公司会强调把 3D 模态补足，然后最终在看如那里置空间智能的问题。

金鑫：是的，是以咱们作念 driver VLA 就加了 visual COT 的念念路，亦然相通的道理，给了 depth 等更多信息。

04

具身智能创业，奔赴星辰大海照旧卖头卖脚？

王建明：接下来咱们聊聊三位真诚在落地上的期待吧，比如像高真诚作念无东说念主机诓骗，您嗅觉在这个标的，改日咱们现实生计中能看到什么类型的诓骗？

高飞：我认为拉万古刻跨度，咱们会在生计中看到各式各样的无东说念主机，这是我一直以来的祈望。可是这个时刻可能比较远，二十年后咱们往向窗外，如果莫得各式无东说念主机在作念高空功课，举例送货送东说念主，那细目是咱们这帮学者、创业者和从业者的失败。

我合计许多时候咱们的技能如故 almost there了，再努发愤就能冲破，但要让它 work， 这一步总要有东说念主去作念，这其中有许多事情可以作念，具体的落地经过细目很横祸，咱们正阅历这种横祸。

王建明：无东说念主机如故阅历过一波诓骗潮，以大疆为主的硬件公司的迭代，到当前这个阶段更多要用无东说念主机来处置一些现实问题，而不单是把它算作一个开发。

高飞：可能好落地的诓骗如故作念罢了，但好作念的事情其实在整个这个词空中功课的生态里不到 1%，比如当前大家熟知的航拍、农业植保机，更多的就不一定说得出来了。可是咱们行业里仍有各式事情可以作念，举例发生了失火去高空熄灭、高空清洗幕墙、无东说念主机送货、载东说念主不雅光，这些大家讲了很久，但还莫得兑现。

王建明：为什么还一直没兑现？问题是什么？

高飞：在我看来细目有许多卡点，最大的一个问题即是不够智能。或者说某个行业的无东说念主机需要 rule- based，要写许多法规，就需要许多科学家、工程师夙兴昧旦地用东说念主力去轮廓，这件事就很难，也很难算过来账。如果花了那么大代价开发物流无东说念主机，终末还不如外卖小哥送得低廉，那么真义真义就不大。可是AI 的发展让咱们看到了但愿。

机器东说念主也访佛，当前许多东说念主形机器东说念主作念的事情，其实工场里一个工业活水化开发也能作念，可能成本更低，但机器东说念主给东说念主的期待不是一个活水化开发，而是机器东说念主告捷了以后什么事情都能作念，我认为太空端、地上、水下都有访佛的逻辑。

王建明：是以照旧 learning base 的适度范式的编削，也可以加多无东说念主机的诓骗场景。

高飞：这个阶段用 AI 聚集大模子，不仅适度、更多是决策，而决策是最难的问题，我认为咱们可能看到了具备通用泛化处置问题才气的基座模子的但愿。

王建明：金真诚您若何看待整个这个词具身智能的落地诓骗？

金鑫：我我方也在宁波作念一些产业化的事情，刚高真诚讲到不但愿再回到工业自动化的阶段。但当前反倒是工业自动化的需求相称操心，他们但愿把机器东说念主尽快用起来，这即是其中一个很大的 gap。高校真诚创业，技能东说念主员创业，尤其是这种新兴技能创业，他们脑海中的想法跟现实天下发展存在差距，你想作念的是个飞机，可能工场需要的即是一个自行车。

王建明：王博士，你主要作念双足东说念主形的适度，当前这块的硬件如故相对比较锻真金不怕火了，那么离最终的诓骗落地您若何看？

王靖博：本年机器东说念主范围让大家看到了一些跟提高操作才气无关的事情，举例巡检、舞蹈等等，大家貌似用一米四以下的机器东说念主就能看起来可以了，但最终主张照旧要让机器东说念主去干活，在颖悟活这件事上，硬件的迭代我合计还不太了了，岂论是东说念主形机器东说念主的负载才气、在高负载下的均衡性、明白的踏实性，还有灵敏手的决议，其实还有相称多的挑战。是以我合计这个事情还有很远的路要走。

王建明：在中国创业靠近一个很大的问题即是最终要去处置一个重大的问题，但又不得不靠近短期买卖化的矛盾。比拟较好意思国创业公司，前段时刻我看到 Scale AI 最新一轮的估值是 140 亿好意思金，换成东说念主民币即是近千亿的估值。那咱们回头看国内的创业公司，不管是从融资范围照旧估值范围上来说，你们认为最终通用机器东说念主在中好意思两国的估值体系下会是什么样？一个像 Scale AI 可能就融了三轮汉典，估值如故到 140 亿好意思金，投资东说念主也没期待它能处置什么现实具体问题，另一方面中国创业公司在几亿东说念主民币估值下，又要去奔赴星辰大海又要卖头卖脚买卖化，作为创业者的高真诚您若何看？

高飞：起首这个估值我细目看不懂，只可说我无法连系。那从创业者亲自体会，我既然在中国就走好中国旅途。我认为接下来是关节的一代，每一代东说念主都有每一代东说念主的管事，终末谁能把事情作念成最热切，而不是看谁估值更高。

金鑫：我也非常甘心高真诚刚刚的话。估值背后遮掩的东西太多，同期成本的力量太大了。可能背后的成本并不校服这件事一定能作念成，只是说要把场子热起来。我合计从中国角度来讲，从 DeepSeek 之后，中国的投资东说念主对技能的耐烦多了一些，大家能看到这代年青东说念主照旧能作念出来东西。

王靖博：整个这个词行业或者说科研是一场马拉松，会有一轮又一轮的波澜，当前可能为了炒热度，但下一轮真的波澜来了之后，大家温雅、研究的问题也不一样了。对一家公司的评估体现着估值上可能会有新的改不雅。

05

不雅众发问门径：

合成照旧真机数据更有用，

照旧要看任务，不是真机数据就一定最合理

不雅众发问：既然大家谈到当前的技能道路还莫得拘谨，为什么还有这样多学者下场创业，他们创业的动机是什么？是因为学术界的资源不够来作念这件事，照旧纯正想蹭这波成本的红利？

高飞：关于我来说，细目不是为了蹭成本红利，没什么好蹭的。如果你创过业，就会知说念这内部要承担几许压力，有几许横祸要阅历。那为什么还要创业呢，我合计碰巧要在技能莫得拘谨的时候创业，否则等拘谨了，契机只怕就不再属于你了。关于我而言， 5 年前我细目不会创业的，因为莫得有余的变量可以匡助我把这件事情作念成，而当前有这个契机，那就 have a try，and try my best，即是这样。

不雅众发问：研究机器东说念主数据的问题，当前机器东说念主数据数目相对较少，现存三种门径，一种门径是真机采集，但真机比较精粹，而且机器东说念主实质会迭代，如果想要通过真机回流数据的话，其实迭代了之后再诓骗亦然个问题。第二种模样是通过仿真，但仿真存在 simulation gap，不外仿真会相对低廉。第三种模样是我最近别传是有用视频生成模子来生成愈加大批的数据，就能弥补其中的缺陷，可是这种模样会比较耗算力。想问一下你们合计以后的数据获取的标的会是哪一种？或者是若何去聚集？

金鑫：这个其实研究过许屡次，数据金字塔，最底下的即是互联网数据或者 video 的数据，这个量也最大，获取的成本也最低。可是可能只可支抓作念一些 pretraining，就比如一些 foundation model，用这部分的 video 让它去学是没问题的。再往上即是合成数据合成出来的高质地数据，real 跟 SIM 之间的 gap 比较小，能够支抓作念更多的任务，提高泛化性。最上头是真机的数据，遥操的数据。

但合成数据也分各式合成数据，分无效的一些合成数据，有价值的一些合成数据，关于物理真实更热切的一些合成数据，底下又细分了许多。关于 video 亦然一样，对 video 到底是用东说念主的 human video 去训它，照旧说机器东说念主的一些 video 去训它，照旧说其他愈加 in general 的 video 去训它？这个也不太一样。是以我合计当前还在探索哪部分数据更有用的阶段。我听过一个比例是721，即是 70% 的 Web data video data， 20% 的 synthetic data，然后 10% 的真机数据，可是 who knows？

不雅众发问：当前径直用文生视频、图生视频这种视频生成模子径直生成机器东说念主的数据，相似度其实能够达到 88%，可是会比较耗卡、耗算力，这种模样你们若何看？星河通用他们是 99% 都用合成数据，就完竣占合成数据那一片，是以想看一下你们的看法。

金鑫：耗卡这件事，有钱就可以作念，主要照旧看能不可生成有用的数据。但一定要合成出来的 video 才有后果吗，也不一定。当前的 latent space 的生成亦然一种生成决议，又回到刚刚阿谁老问题，即是 word model for VLA 或者 word model for embody 阿谁 word model 输出来的东西一定是要 video 吗？也不一定。

不雅众发问：视频生成模子径直生成机器东说念主的数据，会比仿真的更接近真实。

金鑫：仿真跟生成要分得这样开吗，可能仿真的即是原来 CAD 搓出来的 asset，就像群核智能，他们当前手内部有许多金钱，亦然他们我方最大的护城河，可是当前生成出来的内容可能也不见得会比那种手搓出来的要差。我合计主要照旧看你什么样的数据有用，或者说哪些是针对你要处置的阿谁任务有价值，这部分数据该若何去抒发？是用 video 吗？照旧用其他的 modality，或者径直无须抒发，径直即是一个轮廓的 latent 就有余了，照旧 case by case。

王靖博：我比较甘心金真诚的抒发。哪部分数据最有用照旧要看任务，不是真机数据就一定最合理。像我作念足式适度，其中最基本的 locomotion，我可能都莫得 positive examples，我是在一个纯仿真环境里，莫得任何的实调数据一样可以把这件事作念成，因为我的任务不需要那么多 contact reach 的东西。我唯有能学到从各式各样颠仆的环境内部若何让机器东说念主规复踏实就好，其实是纯依赖任务的一种步地。是以我合计研究这个事之前，其实更热切的是看你需要作念什么任务，然后找阿谁任务最 scaling up 的一种模样去赢得数据。