分层联合嵌入预测架构实现高效自主规划

10月5日提交的arXiv论文显示,由Yann LeCun领衔的研究团队提出H-JEPA(分层联合嵌入预测架构),首次在世界模型中实现动作条件化的端到端训练。该框架通过多层级潜在空间逐级预测远期状态,自顶向下驱动规划过程——顶层设定目标方向,下层以高层生成的预测作为子目标进行执行优化。

时间尺度解耦增强任务适应性

当输入数据中的动态因素呈现不同演化速度时,较高层级自动过滤快速变化的噪声信息,聚焦于缓慢且与任务相关的状态变量。这种时间分解机制使模型在复杂环境中具备更强的抽象能力与稳定性。

多场景验证:性能跃升与资源节约双丰收

在四个模拟导航与操作任务中,分层结构表现优于传统扁平化JEPA。尤其在Visual AntMaze挑战中,三层架构将任务成功率从18%大幅提升至73%,同时所需规划计算资源显著减少。消融实验确认,核心优势源于时间维度分离与高层目标表征的有效性。

向现实世界拓展:真实视频序列上的成功应用

在逆动力学监督条件下,该方法已成功迁移至DROID真实机器人采集的视频数据。分层设计不仅维持了离线规划的高保真度,还在更低算力开销下实现更优决策质量,展现出向实际部署演进的强大潜力。