导言

语言模型可以被一句反问考倒。物理 AI 不行——它会在你面前把杯子推下桌子，然后告诉你任务完成了。

2026 年，「物理 AI」这个词已经取代了「具身智能」成为产业界的统一说法。NVIDIA 用它指代机器人、自动驾驶、工业数字孪生的总和；中国的机器人公司在用；做世界模型的团队也在用。词换了，问题没换：怎么知道一个系统真的理解物理世界，而不只是在背视频里的统计规律。

这个问题有两个层面，很多人混在一起谈：

• 懂不懂。看到半个杯子悬在桌沿，能不能判断它会掉；看到一个球滚进遮挡区，能不能预测它从哪里出来。这是表征问题，用 VQA 式的基准测（PhysBench 一类）。
• 做不做得到。给定一台真实的机器人、一堆真实的物体、一个真实的人给的指令，能不能在三十秒内把事办成。这是控制问题，用任务成功率测（LIBERO、RoboChallenge 一类）。

这两个层面的分数几乎不相关。PhysBench 上最好的模型 51.9%，人类 95.9%；而同一个模型放到真机上抓一个杯子，可能连 40% 都不到。反过来，一个在 LIBERO 上刷到 99% 的策略，问它「这两个物体哪个更重」它答不出来——它根本不需要知道，因为训练数据里所有杯子都一样重。

写作方式与前几本一致：能查到口径的数字都标时间和来源，查不到的明确写「据公开材料」；不同来源冲突时，把冲突本身写出来。因为这个领域里，口径差异往往比数字本身更有信息量——同一句「成功率 90%」，在 25 次试验和 600 次试验里是两个意思。

第一章

01从语言世界到物理世界

物理 AI 不是一个更大的模型，而是一套新的约束：输出要被执行、执行不可撤销、环境会变、成功要由别人判定。这一章先把这套约束讲清楚，再给出四条地图——论文、榜单、数据集、开源模型，作为后面四章的索引。

1.1三条边界：语言、世界模型、策略

「物理 AI」在 2026 年的用法非常混乱。NVIDIA 的新闻稿里它指机器人和自动驾驶的总和；一家做 CFD 替代模型的公司也说自己做物理 AI；一个只生成视频的世界模型团队同样这么自称。要判断一个东西是不是物理 AI，看它跨过了哪条边界就够了。

边界一：从离散符号到连续状态

语言模型的输入输出都是离散 token，一次生成错了，可以重来。物理系统的状态是连续的、高维的，而且动作一旦执行就不可撤销——杯子摔了就是摔了。这带来三个工程后果：

• 误差会累积。语言模型错一个词，后面还能圆回来；策略错 2 厘米，夹爪就抓空了，后面全错。这就是为什么动作要做成「块」（action chunk）而不是逐帧输出——用一次前向换一段连续动作，减少累积次数。
• 必须在线。推理延迟直接进入控制系统。57 ms 和 534 ms 的差别不是「快一点」，而是「能不能做闭环纠错」（DM0.5 的工程报告里，这两项是被单独列出来的指标）。
• 数据不可复用。文本可以从网上抓，物理交互只能采。这是整个领域最硬的约束，也是第三章存在的原因。

边界二：从描述世界到预测世界

视觉语言模型能描述「杯子在桌边」，世界模型要预测「松手之后它会掉下去，落点在这里」。前者是判别，后者是生成。这两件事在 2025 年之后被强行合到了一起：

Cosmos 3 的意义就在于它把前四行压成了一行：一个模型里同时有自回归的 Reasoner（理解）和扩散的 Generator（生成），动作作为一等模态接在生成侧。这个设计在第四章会详细拆。

边界三：从「答对」到「做成」

这是最容易被忽略的一条。物理 AI 的最终判据不是模型说了什么，而是环境状态是否发生了预期的改变——杯子是否进了杯子架、抽屉是否关上了、螺丝是否拧到位。判据由外部观察者给出，不由模型自己声明。

1.2四层技术栈：每个项目占哪一层

把 2026 年的项目按技术栈摆开，会发现一个规律：越往下越稳定，越往上越热闹。做本体和数据的公司三年不变，做策略的公司三个月换一版。

这张图有一个实用价值：选型先问「我缺哪一层」。缺数据就去 L1，缺闭环就从 L4 反推，缺模型才看 L3。绝大多数团队卡住的地方其实在 L1——模型换了五个，不如自己采两百小时。

1.3十四篇关键论文，四代演进

物理 AI 的学术脉络比大语言模型短得多，2023 年之前几乎没有「通用策略」这个概念。下面十四篇按四代排列，每一代解决的问题不同，读的时候请注意它们各自在反驳上一代的什么。

第一代（2023）：把动作变成可学习的东西

第二代（2023—2024）：跨本体与开源化

第三代（2025）：双系统、世界模型与开放世界

第四代（2025 末—2026）：统一架构与评测工程

把这十四篇连起来看，有一条清晰的主线：每一代都在把「物理」往模型内部挪一层。第一代把物理交给数据（演示里有什么就学什么），第二代交给规模（跨本体数据自然包含物理多样性），第三代交给世界模型（显式预测后果），第四代交给推理回路（动作前先在内部试演一遍）。

1.4九张榜的地图

2026 年 10 月，值得关注的榜单有九张。它们不是竞争关系，而是测不同东西。判断一张榜是否适合你的问题，看三件事：它测的是表征还是控制、评测介质是仿真还是真机、分数由谁给出。

注：各榜更新频率差异很大——PhysBench 是静态数据集，RoboChallenge 按月更新，RoboArena 持续累积。引用分数时务必带上日期。

1.5五个数据集，五种世界观

数据集不是「越多越好」的堆料，每个数据集背后都藏着一个关于「机器人应该怎么学」的主张。先给数字，第三章逐个拆。

这张表最有用的一列是「代价」。任何数据集的能力边界，都可以从它为了某个主张放弃的东西推出来——用 BridgeData 训的模型不能论证精细装配，不是模型不行，是数据里没有那个监督信号。

1.6开源模型的五条路线

2026 年的开源物理 AI 模型，按架构取舍可以分成五条路线。这里先给坐标，第四章拆其中五个最新项目的细节。

五条路线的分野不在参数量，而在「把物理知识放在哪里」：A 放在生成模型里，B 放在决策回路里，C 放在深度 token 里，D 放在分层频率里，E 放在历史上下文里。这五种选择对应五种不同的失效模式，第四章会逐条对照。

1.7物理 AI 与具身智能，差在哪

这两个词在 2026 年经常混用，但它们的评测体系不一样。差别不在定义，在被判分的对象。

这个区别有一个直接后果：物理 AI 的榜单必须能容纳非策略模型。WorldArena 评的是生成视频，PhysicsBench 评的是 CFD 代理模型，PhysBench 评的是 VLM 的物理常识——这三类东西都没法用「成功率」打分。所以第五章设计新榜时，第一件事不是定指标，而是先定「被测对象是什么类型」。

1 · 2 · 3 · 4 · 5

第二章

02把「懂物理」变成数

一个 benchmark 是五个选择的组合：任务集、初始分布、成功判据、回合预算、评测者。这五个选择合起来，就是一份关于「什么叫会做」的定义。定义不是中立的——每一条都在防某种作弊，也都在放弃某种能力。

2.1benchmark 的五件套

把任何一个基准拆开，都能找到这五个部件。缺一个，分数就不可比。

五件套里最容易出问题的是第二件。举个真实例子：LIBERO 的四个套件里，Spatial 和 Object 的初始位姿变化很小，模型可以靠「记住大致位置 + 微调」拿到 97%；同一批模型到 LIBERO-PRO（改了初始位置和指令表述）上，分数掉到接近 0。变的不是模型，是初始分布。初始分布就是难度的真实来源。

2.2指标谱系：从成功率到物理合理性

物理 AI 用到的指标比具身智能多一倍，因为它们要评的东西从「策略」扩展到了「生成模型」和「表征模型」。下表按「测什么」排列。

这张表有一个隐含结论：越容易解释的指标，越容易被优化到失真。成功率最好解释，所以最常被做松；物理合理性最可解释，所以被拆成了 20 条 yes/no，而 yes/no 本身有 50% 的猜测基线。

2.3每一条定义，都在防一种具体的失效

为什么 benchmark 要这样设计？因为研究者见过太多次「分数很高但没用」。下面这张表是本书最实用的一张——左边是设计选择，中间是它防的失效模式，右边是它付出的代价。

2.4五类基准，五种分工

五类之间几乎没有可迁移性，这是 2026 年最重要的一个认知。一个团队在 LIBERO 上 99%，去跑 RoboCasa365 可能只有 30%；一个世界模型的 FVD 很低，拿去生成训练数据可能毫无增益。原因很简单：它们优化的是不同目标函数。

2.52026 年的上榜项目：一份带日期的成绩单

先看最新的一张综合榜。OpenCompass（司南）的物理智能榜在 2026 年 9 月 28 日更新，用 EBench 评测集，同时给「移动操作」与「精细操作」两个维度打分。它的方法论是静态、仿真、真机三位一体——这也是 2026 年唯一这么做的公开榜。

数据来自 OpenCompass 物理智能评测榜（2026-09-28 更新），基于 EBench 评测集。综合分数与成功率不是线性关系：分数含部分完成给分，所以「成功率低但分数不低」说明模型能推进、收不了尾。

四件事只有看了表才知道

1. 「精细操作」是真正的分水岭，不是「综合」。11 个模型里，精细操作从 2.9 到 50.0，跨度 47 个百分点；移动操作从 29.3 到 60.2，跨度 31 个百分点。综合分把两者平均，反而掩盖了差距。GPT-6-Astra-High 综合第 3，精细第 9——如果你的任务是插拔、装配、拧螺丝，它的排名要往下读六位。
2. 通用大模型与专用操作模型的能力形状相反。GPT-6 是「移动 56.6 / 精细 20.0」，Qwen-RobotManip 是「移动 44.0 / 精细 50.0」。前者像一个会走路的博学者，后者像一双熟练的手。这不是谁更强，是训练分布不同。Qwen 的 50.0 说明：精细操作可以单独被优化，不需要靠通用能力溢出。
3. 分数与成功率会出现方向不一致。π0 成功率 33.7 高于 GigaBrain-0.7 的 33.3，但分数 47.5 低于 46.0。反过来 π0.5 成功率 41.4、分数 54.4，差额 13 分；GPT-6 成功率 46.7、分数 65.4，差额 18.7 分。差额越大，说明模型「做得一半就停」的比例越高。
4. 头部与中位的差距，小于「移动 / 精细」的组内差距。第 1 名 55.3 与第 5 名 41.4 差 13.9；而同一个模型在两个维度上的差距最高到 36.6（GPT-6）。这意味着：讨论「谁是第一」不如讨论「它擅长哪一半」。

其他榜上的关键数字

2.6多少分才有意义

这是最容易被跳过、也最容易出错的一节。物理 AI 的评测样本量普遍很小：25 个回合、50 次试验、一个任务做 20 遍。在这个量级上，两个模型差 5 个百分点什么都不说明。

用 Wilson 区间估算，取 p≈0.8 的中高位场景；两臂可分辨差异按 2.8/√n 近似。若成功率接近 50%，区间还要再宽约 25%。

这里有一个反直觉的推论：榜单上 1—2 分的差距，几乎总是噪声。RoboChallenge 累计 32,980 回合，平均到 30 个任务约 1100 次/任务，这已经是最好的情况，能分辨约 8 个百分点。而大多数论文里的真机实验是 15—25 次/任务，能分辨 50 个百分点以上。

还有一个更隐蔽的问题：0% 不是零。100 次试验全部失败，Wilson 95% 区间的上界是 3.7%。LIBERO-PRO 报告「从 90% 崩到 0」，正确的读法是「几乎确定不会做，上界不超过 3.7%」，而不是「数学意义上的零」。反过来，100 次全成功，下界是 96.3%——所以「100% 成功率」也不等于完美。

2.7仿真与真机：相关性有三个层次

「仿真到真机能不能迁移」是个被问坏了的问题。它其实是三个独立的问题，混在一起谈就没有答案。

WorldArena 提供了一个特别值得记的数字：它的人类偏好相关性达到 0.986，但「生成视频的指标」与「用这些视频训出来的策略收益」相关性只有 0.483。这说明世界模型的评测目前停留在第一层——像不像，而工程上关心的是第三层——有没有用。

2.8榜是协议，不是科学

最后要讲一件不太体面但很重要的事：榜单的可信度不是由技术决定的，是由治理决定的。

2026 年 6 月，RoboArena 出过一次数据操纵事件：有团队通过反复提交、利用评测网络的非盲环节刷 Elo，导致一段时间内的排名失真。处理方式不是改算法，而是改规则——限制提交频率、增加盲评比例、公开异常检测逻辑。这件事说明：任何自愿提交型榜单，安全性等于它最弱的那条提交规则。

可信度可以拆成五个独立的来源，缺一个就打折：

• 硬件标准化——同一台机器人、同一套相机、同一套标定。RoboChallenge 用统一本体，RoboArena 用 DROID 硬件网络。
• 盲评——评分者不知道提交者是谁。AgiBot 赛道用全自动评测 + 指标盲盒。
• 统计量——公布样本量与置信区间，而不只是均值。
• 私测集——留一部分不公开的测试场景，防过拟合。
• 可复现基建——代码、容器、权重、评测脚本齐全，别人能重跑。

一张榜的平均寿命是 18—24 个月。能活过三年的，靠的不是题更难，而是口径更稳：题可以加，判据不能改。一旦改了判据，历史分数全部作废，这张榜就重新变成一张新榜。

1 · 2 · 3 · 4 · 5

第三章

03五个数据集，五种世界观

模型的能力上限由数据决定，这句话在物理 AI 里是字面意义的。这一章拆五个影响力最大的开源数据集：它们怎么被造出来、里面到底有什么、以及——最重要的——它们各自在测试什么。

3.1入选的五个条件

「影响力最大」不是按轨迹数排的。如果按数量，第一名是 ARIO 的 303 万条；但被后续模型采用最多的，是轨迹数只有它 2.5% 的 DROID。所以这一章用五个条件筛：

1. 被模型实际用过。不是下载量大，是有公开模型在它上面预训练并报告了结果。
2. 覆盖一种独特的分布。跨本体（OXE）、跨场景（DROID）、产线级质量（AgiBot）、低成本可复现（Bridge）、格式标准（ARIO），各占一个生态位。
3. 许可清晰到可以判断能不能用。哪怕结论是「不能商用」，也比「未声明」好。
4. 有可复现的采集协议。别人能照着再采一批，而不是只能等官方发新版。
5. 活得够久。至少两年还在更新，说明有维护。

3.2Open X-Embodiment：多样性优先

规模

100 万+ 真实轨迹，22 种本体，60 个来源数据集，527 类技能，160,266 个任务；21 家机构（论文口径）/ 34 家实验室（项目页口径）

格式

RLDS（TFRecord）；动作统一为 7 维末端增量 + 夹爪，每维离散成 256 个 bin

许可

逐子集不同，需逐个核对

产出

RT-1-X、RT-2-X；后续几乎所有跨本体 VLA 的预训练混合里都有它

它是怎么被造出来的

不是采的，是谈出来的。Google DeepMind 联合 21 家机构，把各自已有的数据集按统一 schema 重写一遍：统一坐标系（末端执行器相对位姿）、统一动作维度（7 维）、统一图像分辨率、统一语言指令字段。原来每个实验室的格式都不一样——有的存关节角、有的存末端位姿、有的存速度，有的 3 Hz 有的 10 Hz。

这一步的工程量远大于模型本身。真正难的不是转换，是决定转换时丢掉什么：把关节角动作转成末端增量，会丢掉关节层面的约束（比如某个关节不能反转）；把 10 Hz 降采样到 3 Hz，会丢掉接触瞬间的高频信息。OXE 的选择是牺牲保真度换可比性。

它在测什么

测一件事：跨本体正迁移是否成立。RT-1-X 在多个任务上比单数据集训练的专用模型高约 50%，RT-2-X 展现出更强的空间语义（能区分「on」和「near」）。这是 2023 年最重要的实证结果——它证明了机器人领域也存在「预训练 + 微调」这条路。

它测不了什么

• 动作语义的跨本体等价性。格式统一了，但「7 维末端增量」在不同机械臂上的物理含义不同（臂长、减速比、末端质量都不一样）。所以跨本体迁移的天花板，比格式统一暗示的要低。
• 失败恢复。全是大体成功的演示，没有空抓、掉落、人工纠错。
• 分布均衡。轨迹高度集中在少数几个来源（xArm 与 Google Robot 贡献了大量轨迹），「22 种本体」不等于「22 种本体各占 1/22」。

3.3DROID：标准化优先

规模

76,000 条轨迹 / 350 小时；564 个场景、86 个任务、52 栋建筑、13 家机构、6 座城市、3 个国家

本体

统一为 Franka Panda + 两指夹爪，三路相机（腕部 + 两个外部）

许可

CC BY 4.0（可商用）

采集

统一的采集装置与协议，操作者用 VR 控制器遥操作，全程同一套标定流程

它反着 OXE 来

OXE 说「多样性最重要，所以接受异构」；DROID 说「可比性最重要，所以只用一个本体」。这个选择让 DROID 成为 2025—2026 年最常被用作零样本评测集的数据：因为所有人用同一台机器，分数才有意义。RoboArena 的分布式评测网络就跑在 DROID 硬件上。

它在测什么

测场景泛化：同一个本体、同一套动作空间，换房间、换光照、换物体、换人的操作习惯，策略还能不能干活。这是最接近「部署」的一种测试，因为它把「本体差异」这个变量固定了。

代价

只有一种本体，所以任何在 DROID 上得到的跨本体结论都不成立。另外它的任务描述偏短（一句话），不适合研究长程规划。350 小时在 2026 年也不算大——AgiBot World 是百万条轨迹量级。

3.4AgiBot World：质量与产线优先

规模

100 万+ 轨迹，217 个任务，106 个场景，3000+ 物体，覆盖家居、零售、工业、餐饮、办公五类场景

本体

智元自研轮式双臂（G1 / G2 系列）

许可

CC BY-NC-SA（不可商用）

特色

含失败轨迹与人工纠错；按采集质量分级；配套 Genie Sim 仿真与 EWMBench 评测

它为什么能做到百万级

因为它是产线不是实验室。智元建了固定的采集场（不是临时搭的桌面），有标准化的物体库、标准化的任务脚本、专职采集员，按日产能推进。这套东西的成本结构和一个实验室完全不同：实验室采 500 小时要半年，产线采 500 小时是月度计划。

更关键的是它收录了不完美轨迹。空抓、掉落、抓歪了再重试——这些在别处会被剪掉，在这里被保留并标注。原因很实在：模型要在真机上活下来，就必须见过失败长什么样。

它在测什么

测规模效应与质量分级。AgiBot World 的论文主张是：当数据量跨过某个阈值，且质量可控时，通用策略的泛化会非线性提升。这也是国内「数据即护城河」叙事的实证基础。

3.5BridgeData V2：可复现优先

规模

60,096 条轨迹，24 个环境，13 类技能，50+ 类物体

本体

WidowX 250（6 自由度，低成本）

许可

CC BY 4.0

地位

2023—2024 年「小预算复现」事实上的标准数据集

它为什么重要

因为便宜。WidowX 250 加一个桌面，整套硬件不到两万人民币，一天能采几百条。这让全世界几百个实验室第一次有能力「完整跑一遍 VLA 流程」：采数据、训策略、评测、改进。RT-1、RT-2、OpenVLA 的早期实验里都有它。

它的设计哲学是把变量压到最少：一个本体、一个夹爪、一套相机、一套动作空间。这样任何人在任何地方复现，误差来源只剩「采得好不好」。

它测不了什么

任务太短（多为 3—5 秒的抓放），物体太少（50 类），场景太少（24 个）。用 BridgeData 训出来的模型去论证「精细装配」或「长程家务」，是方法论错误——不是模型不行，是数据里根本没这个信号。

3.6ARIO：标准优先

规模

3,033,188 条轨迹，321,064 个任务，258 个系列（series）

模态

图像、点云、音频、文本、触觉（五模态）

结构

collection → series → task → episode 四级；以统一时间戳对齐，相机 30 Hz、LiDAR 10 Hz、本体感知 200 Hz、触觉 100 Hz

来源

三路：开源数据集转换、MuJoCo/Habitat 仿真生成、Cobot Magic 真机采集

它的主张很特别

ARIO 说：先有标准，再有数据。它不是一个数据集，是一个格式规范加一份按规范填充的样本。四级目录结构（一次提交 → 同场景同本体 → 同任务 → 单次执行）解决的是「不同实验室的数据怎么放进同一个桶」这个问题。

它的对齐设计值得单独讲：所有传感器按自己的频率采样，但共享同一个时间基准。相机 30 Hz、LiDAR 10 Hz、本体 200 Hz——这意味着下游可以按任意时间窗切片，而不需要重采样。这是工程上很扎实的一个决定。

它的风险

三路来源拼接，质量不齐。转换来的开源数据可能本身标注就不准；仿真生成的数据物理真实性有限；真机采集只有 3000 多条（Cobot Magic，30+ 任务）。所以它的 303 万条不能当作 303 万条真机数据读。此外，从统计看，绝大多数数据来自单臂，人形数据极少——这与它「All Robots In One」的名字形成了一点反差。

3.7横向对照

「时长」一列大量为空，是行业通病：多数数据集以轨迹数计量，不公布小时数。做算力预算时必须自己估算——按平均 8 秒/条，100 万条约 2200 小时。

3.8它们到底在测什么

每个数据集都隐含一个能力主张，也都有一个可证伪点。看懂这两件事，就不会误用。

这里有一个容易被忽视的推论：用哪个数据集，决定了你能写什么样的结论。用 BridgeData 训的模型不能论证精细装配，用 AgiBot 训的不能论证跨本体，用 OXE 训的不能论证长程——这三句话不是对模型的评价，是对实验设计的评价。

3.9生产链的六段，以及每段的误差源

一条轨迹从「人在房间里动了一下手」到「成为训练样本」，要过六道工序。每一道都会引入特定类型的误差，而这些误差在下游几乎无法修复。

六段里，第三段（位姿重建）和第六段（格式）是最容易出错、也最难自查的。前者错了表现为「模型学得会但精度差」，后者错了表现为「模型在 A 数据集上正常、在 B 上完全不收敛」。两者的共同点是：日志里都不会报错。

3.10六个取舍

1 · 2 · 3 · 4 · 5

第四章

04五个最新项目，一条跑通路径

这一章选五个 2026 年的开源项目，不是为了列排行榜，而是因为它们代表了五种「把物理知识放在哪里」的不同答案。看完架构，再讲怎么把这些数据集用起来、怎么从零跑通一张榜。

4.1为什么是这五个

筛选标准有四条：权重能下载、有可运行的推理或微调路径、2026 年内发布或重大更新、架构上有代表性。按这四条，候选会收敛到五个——正好覆盖「全模态世界模型、三系统 VLA、全开放动作推理、双系统全身控制、记忆增强高效模型」五个生态位。

4.2Cosmos 3：把理解与生成塞进一个注意力图

架构

Cosmos 3 是一个 Mixture-of-Transformers（MoT）：两条通路共享一个骨干和一个联合注意力算子。

• Reasoner 塔——自回归视觉语言模型，从 Qwen3-VL 权重初始化，负责理解场景、判断物理合理性、输出计划。上下文 256K token。可以单独调用，当感知头用。
• Generator 塔——扩散 Transformer，负责生成视频、音频、图像和动作序列。它需要两塔一起工作。
• 连接方式——单向：Reasoner → Generator。信息不是双向流动的，这一点很关键：Reasoner 独立可用，Generator 必须被条件化。

参数切分很规整：Nano 是 16B（8B + 8B），Super 是 64B（32B + 32B）。另有 Edge（4B 级）在路上。位置编码用 3D mRoPE，把视频帧、音频、动作 token 对齐到同一条时间轴；动作作为一等模态，每种本体有固定的动作维度（例如相机 token 是 9 维）。

它解决了什么

合成数据的一致性问题。以前造一条带动作标签的训练数据，要串三个模型：VLM 理解场景、视频模型生成未来、策略模型反推动作。三个模型各有各的失效模式，而且互相不认账——视频里杯子往左移，反推出来的动作可能往右。Cosmos 3 把三者放进一个注意力图，视频和动作共享同一份上下文，一致性由架构保证，而不是由后处理保证。

要警惕什么

• 榜单是自证的。它登顶的七个榜里，多数由 NVIDIA 参与定义或重度引用。独立复现要等几周。这不代表数字假，但代表不能直接当第三方结论用。
• 「开源」是分层的。代码、权重、数据、框架四份许可不同，商用前逐份读。
• 单向连接不是完全联合。宣传语说「一个模型同时推理和生成」，实际是「先推理，再条件化生成」。这个区别在需要反复试演的场景里（比如三系统）会体现出来。

4.3GigaBrain-0.7：把世界模型放进决策回路

三层金字塔

关键设计是 System-3 的双重输出：它不只预测「下一步画面长什么样」，还输出一个价值信号（这条轨迹能不能推进任务）。前者给动作专家一个视觉子目标（相当于「往这个画面走」），后者给规划器一个判断依据（相当于「这条路值不值得走」）。这与「世界模型只用来离线造数据」的做法有本质区别：它在每一次决策里都被调用一次。

数据金字塔

官方口径的数据构成是五层：近 3 亿对图像-文本、数万小时视频、11,200 小时高质量真人数据、5,000+ 小时生成与仿真数据、20,500 小时真机数据，合计约 37,300 小时异构具身数据。覆盖五类来源：真机、UMI、第一人称、仿真、世界模型生成。

成绩与争议

官方声称在 RoboColiseum 四项评测全部第一，真机上「20 分钟以上、10 个以上任务一镜到底」。但有两处需要打折：

• 参数量口径。论文写「3.5B」，指的是 System-1 的组成（3B 主干 + 0.5B 动作专家）。但 Hugging Face 上公开的 base checkpoint 的 safetensors 元数据显示 4,121,726,448 个参数。这不是造假，是三个不同的东西：架构名义参数、序列化权重张量数、完整推理栈。读参数时要说清是哪一个。
• 复现入口。RoboColiseum、RoboTwin 2.0、EBench 的评测代码与 VLM 评测代码在发布时仍在 TODO 列表里。也就是说，「四项第一」暂时只能读，不能验。

4.4MolmoAct2：先想清楚三维，再动手

架构

主干是 Molmo2-ER（4.85B），一个专门为具身推理训练的 VLM：3.3M 样本、六个能力维度（视频指点、具身问答、空间推理等），在 13 个具身推理基准上平均 63.8，高于 GPT-5 的 57.9 与 Gemini Robotics-ER 1.5 Thinking 的 61.3。

动作侧是一个 DiT 式的连续动作专家，用 flow matching 训练，通过逐层 KV 条件化接到主干上——主干每一层的 key/value 直接作为动作专家对应层交叉注意力的输入。这个接法比「取最后一层隐状态」保留更多中间层信息，代价是显存。

Think 变体加了自适应深度推理：先生成一张 10×10 的稀疏深度图（深度 token），再据此出动作；而且只在画面有动态变化的区域算深度，官方称省 17% 时间。这是一个很聪明的折中——完整的深度预测太慢，完全不预测又缺三维感。

它最值得学的地方

不是分数，是开放的结构。它把「基础检查点 / 微调检查点 / 各机器人专用检查点」分得很清楚：MolmoAct2 是继续训练用的，-DROID / -BimanualYAM / -SO100_101 / -LIBERO 是直接部署或微调用的。这个分层避免了最常见的一种误用——拿一个「基础检查点」直接上机器人，然后说模型不行。

另外它的评测是诚实的：LIBERO 97.2 与真机 87.1 同时给出。差 10 个百分点，这个差值本身就是信息（仿真到真机的 gap），比只报一个 98% 有用得多。

4.5DM0.5：长程任务的瓶颈是记忆

三个架构创新

主干是 4B 的 Gemma3 VLM，加 680M 动作专家。预训练 15 万小时：5 万小时真机、10 万小时第一视角视频，外加百万平米级场景重建数据。

为什么「记忆」值得单独做一层

因为绝大多数 VLA 是无状态的：输入当前帧，输出动作。这在 5 秒任务里没问题，在 5 分钟任务里就崩了——机器人走到客厅，忘了刚才在厨房把杯子放在哪；人被它挡了一下，它不知道任务进行到第几步。

DM0.5 的解法不是把历史帧全塞进去（显存爆炸），而是压缩：只保留关键帧，并训练模型在历史缺失时降级。这个「可降级」的设计很工程——真实部署里相机会掉线、会延迟，一个必须完整历史才能工作的模型在真机上等于不可用。

它的代价也清楚：60 秒记忆对家务够，对「早上出门前把衣服洗了」这种小时级任务不够。这是下一代要解的。

4.6Galaxea G0：单本体数据的反直觉胜利

架构

标准的双系统：G0-VLM（System-2）基于 PaliGemma-3B，负责多模态规划与子任务拆解，跑 2 Hz；G0-VLA（System-1）由 VLM 主干 + Action Transformer 组成，用 flow matching 出动作，跑 200 Hz。两者异步，最终输出 23 个自由度的全身控制——这是它和纯桌面操作模型最大的区别：它同时管底盘、躯干和双臂。

三阶段训练，以及一个反直觉的发现

1. 跨本体预训练——多平台数据，学通用视觉与语言理解。
2. 单本体预训练——只用 R1 这一个平台的数据，用 flow matching 训动作。
3. 任务后训练——少量目标任务数据。

论文里最值得记的一句是：单本体预训练才是真机性能的决定因素。跨本体数据听着更「通用」，但不同平台的视角、动力学、动作空间带来的噪声会伤害模型。这与 X-VLA 那类「靠软提示做跨本体」的路线是相反的结论。

数据集与端侧

配套的 Galaxea Open-World Dataset 有 500+ 小时真实移动操作数据，50 个场景（家庭、厨房、零售、办公）、150 类任务、1,600+ 物体、58 种技能，全部用同一台 R1 Lite 采集，标注细到子任务级。这个「单本体 + 细标注」的组合，正是它敢说「单本体预训练决定性能」的底气。

工程上还有两个可用的产物：G0Plus（3B，2,000+ 小时数据预训练）与 G0Tiny（250M，SmolVLM2 主干，TensorRT 在 Jetson Orin 上跑到 10 Hz）。后者说明了一件事——250M 也能做双臂折叠毛巾，如果你的任务分布足够窄。

4.7五个项目横向对照

五种「把物理知识放在哪里」的答案，对应五种失效模式：

• 放在生成模型里（Cosmos 3）→ 画面很真，但动作可能不满足力矩约束。
• 放在决策回路里（GigaBrain-0.7）→ 判断更准，但延迟翻倍。
• 放在深度 token里（MolmoAct2）→ 空间感更强，但慢 4 倍且需要好相机。
• 放在历史上下文里（DM0.5）→ 长程更稳，但记忆有上限。
• 放在分层频率里（Galaxea G0）→ 全身协调，但跨本体弱。

4.8怎么用这些数据集：三条路径，七个坑

三条路径

七个坑，每个都带判别方法

# 上训练前先跑这段：五个数据集字段体检
import json, numpy as np

def audit(path):
    meta = json.load(open(f"{path}/meta/info.json"))
    print("fps", meta["fps"], "| 总帧", meta["total_frames"])
    print("相机", [k for k in meta["features"] if "image" in k])
    a = meta["features"]["action"]
    print("动作维度", a["shape"], "| 归一化", a.get("norm"))
    # 关键：块长换算成秒，跨数据集必须可比
    print("1 秒 = ", meta["fps"], "帧；块长 16 帧 = ", 16 / meta["fps"], "秒")

4.9从零跑通一张榜

这里以 LIBERO 为例，因为它便宜、快、社区支持最好。目标是：在两周内得到一份可以被别人复现的分数，而不是刷到第一名。

五步

# 1. 环境（Python 3.10+，单卡 24G 足够）
conda create -n libero python=3.10 -y
pip install -r requirements.txt
pip install -e .            # LIBERO 本体

# 2. 数据（四个套件，约 20 GB）
python benchmark_scripts/download_libero_datasets.py --use-huggingface

# 3. 接一个策略（以 openpi 的 π0 为例，输出 7 维增量）
#    接口只需实现两个方法：
#    policy.reset()  /  policy.act(obs) -> action_chunk

# 4. 评测：固定 seed、固定初始分布、每组 ≥ 100 回合
python eval.py --task libero_long --n_eval 100 --seed 0

# 5. 产出：分数 + 置信区间 + 失败分类
python report.py --log runs/libero_long.jsonl --wilson

十一项评测协议（可以直接抄进实验记录）

• 基准名称与版本（含 commit hash）
• 任务套件与子任务列表（不是「LIBERO」，是「LIBERO-Long 10 任务」）
• 初始分布：位姿随机范围、物体随机范围、光照/相机是否变化
• 每个任务的试验次数 n，以及总回合数
• 成功判据（布尔 / 部分给分 / 阈值）
• 回合预算（最大步数）
• 动作表示（绝对 / 增量；末端 / 关节；维度）
• 控制频率与动作块长度（换算成秒）
• 随机种子与重复次数
• 置信区间（Wilson 或 bootstrap），不只报均值
• 失败分类（抓空 / 碰撞 / 超时 / 指令误解 / 其他）

成本账

真机比仿真贵约 200 倍，这个比例决定了行业的行为：仿真用来迭代，真机用来定稿。反过来做（真机迭代、仿真定稿）既贵又不可信。

八项重点工作

1. 统一动作表示——先定「末端增量 7 维」还是「关节绝对 14 维」，全部数据往它对齐。这一步错了，后面全白做。
2. 建一个 20 条轨迹的冒烟集——每次改代码先在这 20 条上过拟合，loss 不降说明管线有问题，不要急着上大训练。
3. 锁死评测环境——容器化，固定物理引擎版本、渲染后端、随机种子。仿真器的版本差异足以让分数变动 5 个点。
4. 写失败分类器——人工标 200 次失败，归成五类。这比多训一个模型有用。
5. 每次评测记 n 与区间——见 2.6。
6. 保留一条「人类基线」——哪怕只有 20 次，也能防止自嗨。
7. 把评测脚本放进仓库——不是放结果，是放脚本。别人能跑，你的分数才有意义。
8. 留一份私测集——自己留 20% 场景不公开，用来发现过拟合。

1 · 2 · 3 · 4 · 5

第五章

05局限，以及怎么造一张更好的榜

前面四章都在描述现状。这一章做两件事：把现有榜单的十个结构性缺陷摆出来（每条都有证据），然后给出一套可执行的新榜设计流程——包括最难的一步：怎么让别人愿意把模型送来测。

5.1十个局限

把这十条归一下类，会发现它们其实只有三个根源：

• 测的是点，不是分布。1、7 两条——用固定场景代替了场景分布，用固定初始位姿代替了位姿分布。
• 测的是均值，不是不确定性。2、3、6 三条——只报一个数，不报这个数能波动多少。
• 测的是能力，不是代价。4、5、9、10 四条——不管这个能力是用多少算力、多少数据、多少风险换来的。

5.2九条设计原则

1. 先定被测对象，再定指标。策略用成功率，生成模型用一致性 + 物理合理性，表征模型用准确率。三者不能共用一个总分。
2. 判据分三层。完成（布尔）、推进（连续）、安全（违规次数）。只报第一层，就会把「差一点」和「完全不会」压成同一个 0。
3. 初始分布写成分布，不写点。不是「杯子在桌上」，是「杯子在 40×60 cm 区域内均匀分布，朝向 ±30°，10% 概率倒下」。
4. 强制报 n 与区间。提交格式里留两个必填字段：试验次数、95% 置信区间。不填不予上榜。
5. 私测集不少于 30%。公开 70% 供调试，留 30% 只用于最终排名，且每年轮换。
6. 分层报告。按难度（S/M/L）、场景（室内/工业/零售）、本体重分别给分，再给一个加权总分。分层比总分有信息量。
7. 人类基线同场。每个任务至少有 3 个人类操作员的成绩，且公布他们的训练时长。
8. 成本单列。延迟（P50/P95）、显存、单次推理成本、训练数据量。与精度并列展示，不做加权。
9. 版本化与口径冻结。任务可以加，判据不能改。改判据 = 发新版本 = 历史分数作废。这一条决定了榜能活多久。

5.3设计样例：PAI-6，六维三档

下面是一个可以直接落地的设计。它不是唯一的答案，但它把前面九条原则都落实了，可以当作模板改。

六个维度

三档难度与样本量

总量：6 维 × 3 档 × 40 回合 = 720 回合/模型。按每回合 30 秒算，纯执行约 6 小时，加上复位与换物体约 1.5 个工作日。这个量级是刻意选的——既能给出 ±3—4 个百分点的分辨率，又不至于让团队排一个月队。

总分怎么算

用加权几何平均而不是算术平均：

score = Σ w_i · log(d_i + 5)   # 再映射回 0—100
# d_i 是第 i 维的分数；+5 是平滑项，防止 0 分导致 log 发散

为什么用几何平均？因为算术平均可以用强项补弱项：一个精细操作 5 分、移动操作 95 分的模型，算术平均能到 50，看起来「中等」；几何平均会把它压到 20 附近，如实反映「偏科」。

报告长什么样

不出单一排名，出能力画像——六个数字加一个总分，再加三行说明：最强项、最弱项、成本。

示意数据。三个模型总分 46 / 50 / 49，落在同一个置信区间内——按 2.6 的算法，720 回合的分辨率约 ±3.4 pp，所以它们应当被读作「并列」，区别只在画像。

5.4七步流水线，七道闸

七道反作弊闸

5.5怎么让模型来测

这是新榜最难的一步。技术做得再好，没人提交就是零。要让别人来，先降低三件事的成本：接入成本、等待成本、失败成本。

三种接入方式，按接入成本排序

接口契约（最小可用）

POST /reset        {"task_id": "D3-M-007", "seed": 12345}
POST /act          {"obs": {"rgb": [...], "depth": [...], "proprio": [...], "instruction": "..."}}
→ {"actions": [[...], ...], "horizon": 16, "dt": 0.05}
# 约定：actions 是按 dt 间隔执行的动作序列；评测方负责执行与判分
# 超时、异常、NaN 都记为「本回合失败」，不重试

这个契约要把三件事写死：动作的时间语义（horizon × dt）、失败的判定（异常算失败，不重试）、允许的延迟（超过阈值算超时）。三件事不写死，跨提交方的分数就不可比。

提交物清单

• 模型卡：架构、参数量、训练数据来源与许可
• 推理代码或镜像，含依赖锁定文件
• 动作空间说明：维度、绝对/增量、单位、限位
• 控制频率与动作块长度
• 是否使用过本榜的公开测试集（用于标记「非盲」提交）
• 算力消耗：单回合延迟、显存占用

让人愿意来的四件事

1. 便宜。接入不超过一天，评测不超过两天。超过这个门槛，只有大团队会参加。
2. 快反馈。提交后 24 小时内出分，哪怕只是子集。
3. 可发表。给每个提交方一份可引用的技术报告编号，允许在论文里引用榜上成绩。
4. 有基线。榜上常驻三到五个开源模型的分数，新人能立刻知道自己差多少。

5.6三年自检表

如果你要维护一张榜，每年问自己这六个问题。三个以上答「否」，这张榜大概活不过明年。

1 · 2 · 3 · 4 · 5

附录 A

A术语表

附录 B

B速查表

想做什么，看哪一节

关键数字（截至 2026-10）

附录 C

C三十天路径

给一个想进入物理 AI 评测方向的读者。每天 2—3 小时，不需要机器人。

· 全书完 ·