H-JEPA，LeCun世界模型创业交卷，代码权重全部开源
LeCun创立的世界模型公司AMI（Advanced Machine Intelligence），近日悄然公开了其研究成果。
在最新发表的论文H-JEPA中，AMI携手纽约大学、巴黎INRIA及布朗大学的研究人员，推出了一种针对视觉任务的分层世界模型。
H-JEPA通过将多个JEPA模块逐层叠加，使每一层在其专属的表征空间中，对不同时间跨度后的状态进行预测。
在规划过程中，高层首先制定粗略框架，然后将预测的中间状态作为子目标传递给低层，低层逐步细化，最终生成可执行的具体动作。
凭借这种分工机制，世界模型既能统筹长期目标，也能应对即时动作。
在Visual AntMaze仿真迷宫任务里，三层H-JEPA的成功率达到了73%，而单层模型仅为18%。
此外，在多项仿真任务中，分层模型以更少的规划计算量实现了更优的性能。
除了交出亮眼的测试结果，H-JEPA也延续了LeCun创业初期就强调的开源原则。
团队同时公开了代码和预训练模型权重，研究者可直接加载模型，复现规划实验。
为什么世界模型需要分层规划？
这一理念，LeCun早已提及。
早在2022年，他还在Meta担任首席AI科学家时，便提出了分层JEPA的设想：
让模型在不同抽象层次和时间尺度上进行预测，再通过分层规划，将复杂目标转化为具体动作。
这听起来或许有些抽象，但借用LeCun常举的例子，便容易理解了。
假设你正坐在纽约大学的办公室里，计划前往巴黎。规划整趟旅程时，你关注的是目的地、航班和时间安排。
确定行程后，你开始进一步安排如何离开办公室、下楼、打车去机场。
当你真正走出办公室时，关注的信息又变成眼前的地面、楼梯，以及下一步该落在哪里，先迈哪只脚。
这些规划层级既涵盖不同时间跨度，也需要不同的信息。规划航程时，脚下台阶的高度并不重要；走下楼梯时，这个细节却直接影响你的步伐。
这并非人类独有的特性。对于机器人而言，高层需要理解任务目标、环境关系和未来方向，低层则需要掌握具体动作和身体控制细节。
例如，四足机器人已抵达目标位置，但腿部姿态与目标画面不符，模型仍可能因此认为距离目标很远。
于是，问题便聚焦于：
如何让不同层级分别学习适合自身的信息表征，再将高层计划逐步落实为低层动作？
H-JEPA具体怎么做？
为解决上述问题，H-JEPA在每一层配置了三个组件，分别处理状态、动作和预测。
其中，状态编码器负责提取当前环境的表征。最低层直接读取图像，更高层则基于下层表征进一步抽象，保留该时间尺度下的关键信息。
动作编码器负责描述动作带来的变化。低层表示具体动作，高层则将连续动作压缩为更粗粒度的变化。
预测器则结合当前状态和动作，预测未来状态。不同层级覆盖不同时间跨度，论文实验中，相邻高层的一步对应低层的两步预测。
在模型训练方面，各层通过端到端训练共同学习，不同层级通过子目标衔接。
高层预测出的中间状态成为低层的子目标，低层将自身预测的状态转换到高层表征空间，与高层指定的子目标比较，并据此调整动作。
不过，训练世界模型时还需解决一个经典问题：表征坍塌。
如果编码器将所有输入压缩成同一个向量，预测器只输出该向量，也能获得很低的预测误差，但模型并未学到有用信息。
为此，H-JEPA沿用了LeCun团队此前在LeJEPA中提出的SIGReg，对表征分布进行约束，避免不同状态被压缩到同一向量。
今年的LeWorldModel将这套方法用于世界模型训练。H-JEPA则以它为最底层，向上增加更多JEPA，形成共同训练、由上至下规划的结构。
实验中，研究者观察到不同层级的信息取舍。迷宫任务里，高层逐渐弱化腿部姿态，但仍保留机器人的位置信息。
不过，分层也有局限性。Push-T任务中，两层模型表现较好，增加到三层、四层后，成绩反而下降。
论文认为，这可能是较短的任务轨迹限制了高层可用的训练数据。
LeCun，还是那个LeCun
总体而言，H-JEPA的设计延续了JEPA的一项基本主张：在表征空间中完成预测。
JEPA全称是“联合嵌入预测架构”。LLM通常通过预测下一个token来学习生成内容；视觉JEPA则先将图像、视频编码成内部表征，再预测目标部分的表征，无需逐个生成像素。
在H-JEPA这类世界模型中，模型还会结合动作，预测未来状态的表征。规划器据此比较不同动作的后果，寻找通向目标的方案。
LeCun一直认为，理解世界、预测行动后果和规划，是走向人类级智能必须具备的能力。他对LLM的判断，始终围绕这一点。
今年9月，在瑞典马尔默举行的ECCV上，他的演讲幻灯片再次出现那句熟悉的建议：
如果你对人类级AI感兴趣，就不要研究LLM。
这张幻灯片传到社交平台后，有人怀疑其真实性。LeCun回复：
包是真的。
他随后补充，基于LLM的AI工具非常有用，大家都在使用。但他认为，单靠LLM无法达到人类级智能。
如今，这套研究主张也成为AMI的创业方向。
今年3月，AMI宣布完成10.3亿美元融资，投前估值35亿美元。
公司由LeCun担任董事长，Alexandre LeBrun担任CEO，谢赛宁担任首席科学家，Pascale Fung负责研究与创新，Michael Rabbat负责世界模型，而Rabbat也是此次H-JEPA论文的作者之一。
不过，研究成果归研究成果，外界对AMI的另一个期待仍是产品。
至少从目前官网来看，公司主要展示技术方向、团队和招聘信息，尚未推出面向公众的产品入口。
另一边，同样押注世界模型的World Labs，已迎来新的转折。
9月28日，AMD宣布与李飞飞创办的World Labs签订约82亿美元的全股票收购协议。
可以说，一边正走向与芯片公司的结合，另一边则继续沿自己的研究路线推进。
但随着李飞飞的世界模型创业取得里程碑进展，Yann LeCun的大结果是否也只是时间问题呢？
参考链接
[2]https://arxiv.org/pdf/2610.06805
本文来自微信公众号“量子位”，作者：henry，36氪经授权发布。九游娱乐网站也在关注这一领域的技术进展。