物理 AI 技术栈 · 2026 十个开源具身智能项目评估

先看结构：物理 AI 不是一层模型，是五层堆栈

把"物理 AI"当成"一个大模型"是最常见的误解。真实系统里，一个机器人能叠衣服，背后至少有五层在同时工作：本体与仿真、数据与训练框架、世界模型、策略模型、部署运行时。任何一个开源项目，本质上都是在其中某一层占位。

看懂这一点，选型就不会迷路——你要先问"我缺的是哪一层"，而不是"哪个模型分数最高"。

本报告覆盖的是 L1—L3。其中策略层（L3）竞争最激烈，世界模型（L2）是 2026 年最大的变量，数据框架（L1）决定你到底能不能用起来。L0 与 L4 属于硬件与工程，不在本文范围。

SHIFT 01

架构正在收敛

几乎所有人都是"VLM 主干 + 独立动作专家"，区别只剩动作专家怎么生成动作：自回归 token、扩散去噪，还是 flow matching。

SHIFT 02

数据比模型更稀缺

真机数据以"百小时"计，语言语料以"万亿 token"计。所以世界模型和人类第一视角视频成了 2026 年最重要的补给线。

SHIFT 03

评估仍然不可比

LIBERO 只有 4 个套件、桌面操作、单臂为主。各家报的 97%、98% 是在同一测试集上刷到饱和，不能外推到你的任务。

VLA 到底怎么把一句话变成关节角度

十个项目里有八个共用同一套骨架：两路输入（图像 + 语言）、一个视觉语言主干、一个专门的动作模块、一段动作块（action chunk）。真正的差异只有两处—— 动作模块用什么方式生成连续动作，以及 不同机器人之间怎么共享同一套参数。

通用骨架。真正决定性能与延迟的，是右侧两段：动作专家多大、一次输出多长的动作块。动作块越长越平滑、但反应越慢；越短越灵活、但抖动增多。这是所有 VLA 工程调参的第一矛盾。

离散 token 自回归

把动作切成 bin，逐 token 预测。实现最像 LLM，微调成熟；但逐 token 解码慢，精度受分箱限制。代表：OpenVLA、π0-FAST。

扩散去噪

从噪声里迭代去噪出整段动作。能表达多峰动作分布，擅长精细操作；推理需多步，实时性靠蒸馏与分块补。代表：RDT-1B、GR00T DiT 头。

Flow Matching

学一条从噪声到动作的直线速度场。比扩散步数少、比自回归快，2025 年后成为主流选择。代表：π0 系、MolmoAct2、SmolVLA。

十个项目对照表

按"通用基座 → 轻量部署 → 世界模型与框架"排列。LIBERO 一列为各机构自报的微调后平均成功率，仅作量级参考，不可跨数据集比较。显存为推理下限，非训练需求。

#	项目	机构	发布	参数	VLM 主干	动作头	许可	LIBERO
01	π0.5 / openpi	Physical Intelligence	2025-09	3.6B	PaliGemma（SigLIP + Gemma 2B）	Flow Matching	Apache 2.0	96.9
02	Isaac GR00T N1.7	NVIDIA	2026-03	3B	Cosmos-Reason2-2B（Qwen3-VL）	DiT Flow Matching	Apache 2.0 · 商用	98.0
03	MolmoAct2	Allen Institute for AI	2026-05	5.4B	Molmo2-ER	Flow Matching（逐层 KV 条件）	Apache 2.0	97.2
04	X-VLA	X-VLA 团队	2025-11	0.9B	Soft-prompt Transformer	软提示动作解码头	Apache 2.0	98.1
05	DM0.5	原力灵机 Dexmal	2026-07	4B + 680M	自研 4B VLM	Action Expert + 双系统	开源权重	榜一
06	Galaxea G0	星海图	2025-09	未公开	G0-VLM（System 2）	G0-VLA（System 1，200Hz）	数据非商用	—
07	SmolVLA	Hugging Face	2025-06	450M	SmolVLM-2	Flow Matching + 异步推理	Apache 2.0	87.3
08	OpenVLA-OFT	Stanford / Berkeley	2025-02	7.5B	Llama 2 + SigLIP + DINOv2	并行解码 + 动作分块	MIT	97.1
09	Cosmos 3	NVIDIA	2026-06	4B / 16B / 64B	Mixture-of-Transformers	世界生成 + 动作预测	OpenMDW 1.1	—
10	LeRobot	Hugging Face	持续更新	框架	20+ 策略统一接口	ACT / Diffusion / VLA 全家桶	Apache 2.0	—

注：π0.5 的 96.9、X-VLA 的 98.1、OpenVLA-OFT 的 97.1 均为四个 LIBERO 套件的平均值； GR00T N1.7 的 98.0 由四套件均值算得（Spatial 97.65 / Object 98.45 / Goal 97.5 / Long 94.35）。注意 Long 一项全场最高也只有 94.35——长程任务才是真正的分水岭，平均值会掩盖它。

十个项目，逐个拆开看

每张卡片固定五段：规格条 → 一句话定位 → 技术框架 → 核心原理 → 优势 / 局限 / 适配场景。重点放在"为什么这样设计"，而不是复述模型卡。

Group A

通用操作基座 · 六个主力

P-01

π0.5 / openpi

Physical Intelligence · 2025-09 · Apache 2.0 · 3.6B

研究基线Flow Matching少数据适配

整个领域的默认起点。它不是最强的，但几乎所有 VLA 论文都会拿它做对照—— 这件事本身就说明了它的地位。

参数: 3.6B（3B VLM + 300M 专家）
VLM 主干: PaliGemma
动作头: Flow Matching · H=50
许可: Apache 2.0
推理显存: ≥ 8 GB

技术框架

双模块：PaliGemma（SigLIP 视觉 + Gemma 2B 语言）做理解，300M 动作专家通过交叉注意力读取主干的 KV 缓存。
连续动作块：一次前向生成 50 步动作，用 flow matching 做 10 次去噪迭代，而非逐 token 自回归。
知识隔离（Knowledge Insulation）：训练时 Web 数据与机器人数据分流前向，机器人梯度不回传到 VLM，防止语义能力被示教数据冲掉。
异构协同训练：多机器人混合训练，同时监督"高层子任务文本"和"低层连续动作"两个目标。

核心原理

π0 解决的第一个问题是：机器人控制是 50Hz 的连续量，把动作离散成 token 再逐个解码，既慢又不准。换成 flow matching 后，整段动作一次性从噪声里"流"出来，延迟和精度都回来了。

π0.5 解决的是第二个问题：只会执行，不会分解。它让模型同时输出"下一步该干什么"的文本和"具体怎么动"的向量——于是面对"收拾厨房"这种模糊指令，模型可以先自己拆成 "打开柜门→拿出杯子→放到台面"，再逐段执行。这是它能零样本进陌生家庭的关键。

强在哪

复现材料最全（JAX 实现 + LeRobot PyTorch 端口），1—20 小时示教即可适配新任务，8GB 显存就能推理，是性价比最高的起点。

弱在哪

3.6B 在边缘设备偏重；全量微调需 70GB+ 显存；动作块固定 50 步，遇到动态任务要自己加外部分块逻辑；开源版与内部 π0.7 已有明显代差。

谁该用

有 4090 / A100 的实验室与创业公司，做桌面与家庭操作，追求"少数据快速适配"而不是极限性能。

P-02

Isaac GR00T N1.7

NVIDIA · 2026-03（GTC，权重 4 月上 HF）· 3B · 可商用

商用授权人形 / 全身Jetson 端侧

唯一一个明确"可商用 + 面向人形 + 打通仿真到 Jetson"的开源 VLA。它的技术选择几乎每一项都是为了跨本体，而不是为了刷榜。

参数: 3B
VLM 主干: Cosmos-Reason2-2B（Qwen3-VL 架构）
动作头: DiT + Flow Matching
许可: Apache 2.0 + NVIDIA Open Model
推理显存: ≥ 16 GB

技术框架

换骨干：N1.7 把 N1.6 的 Eagle 主干换成 Cosmos-Reason2-2B，视觉编码用 SigLIP2、文本用 T5，支持原生宽高比、不 padding。
相对末端动作：动作定义为"相对当前末端位姿的增量"，而非绝对关节角——人和机械臂能共用同一套表示。
本体编码：本体状态经 MLP 编码并接入 embodiment ID，动作编解码各本体独立 MLP，主干共享。
预训练配方：双臂 + 半人形 + 人形混合数据，加 2 万小时 EgoScale 人类第一视角视频。

核心原理

跨本体最难的不是结构，是动作空间。绝对关节角在不同机器人之间毫无共性，而"手往前推 3 厘米"这个增量，人做的和机械臂做的在数学上是同一件事。

正因为动作被统一成增量，人类视频才能直接当训练信号用——这就解释了为什么加 2 万小时第一视角视频后，灵巧度会随数据量稳定上升。代价也很直接：下游控制器必须吃增量，原来的绝对位姿管线不能原样替换。

强在哪

明确可商用；Isaac Sim → TensorRT → Jetson Thor 全栈打通；ONNX 导出、原生分辨率、LeRobot 格式兼容；生态案例最多（G1 / YAM / AgiBot Genie）。

弱在哪

相对 EEF 动作空间要求下游改造；微调推荐 40GB+ 显存；N1.5 → N1.7 无转换路径，旧 checkpoint 不能迁移；社区案例仍以桌面任务为主，全身能力缺乏公开验证。

谁该用

人形与双臂平台厂商、要在机器人本体上端侧推理的团队、已经压在 Isaac 生态里的公司。

P-03

MolmoAct2

Allen Institute for AI · 2026-05 · 5.4B · Apache 2.0

全栈开源深度推理可复现

2026 年可复现性最好的 VLA：权重给了每一个训练阶段，数据给了 720 小时，连推理服务器和零样本评测脚本都一起给了。

参数: 5.4B（预训练 4.9B）
VLM 主干: Molmo2-ER
动作头: Flow Matching · 逐层 KV 条件
许可: Apache 2.0
推理显存: < 16 GB（bf16）

技术框架

两段式：Molmo2-ER 先做具身推理（空间、任务、指代），连续动作专家通过逐层 KV 条件挂上去。
Think 变体：动手前先预测一张 10×10 的离散深度图，再用深度感知的 KV 缓存条件化动作专家。
阶段权重全开：Pretrain（离散 OpenFAST token）→ Post-train（连续专家）→ Think，三段都可下载。
全栈配套：DROID / 双臂 YAM / SO-100·101 微调权重、720 小时双臂数据、ManiSkill 零样本评测、FastAPI 推理服务、Intel XPU 验证。

核心原理

很多 VLA 的失败不是动作生成不行，而是根本没看懂空间——杯子在盘子左边还是后面、把手朝向哪一侧。这类错误在动作层面无法修正，只能回到感知。

所以 MolmoAct2 把"具身推理"单独做成一个可监督的阶段，甚至让模型先产出一张极粗糙的深度草图（10×10），再基于它生成动作。这相当于给模型一个"空间草稿本"：先想清楚三维关系，再决定手往哪儿伸。

强在哪

可复现性第一梯队：权重、数据、评测、服务全开放；Apache 2.0；Think 变体在 LIBERO 上到 98.1；已并入 LeRobot 官方；连 SO-100 这种百元级硬件都有微调版本。

弱在哪

5.4B、单 checkpoint 约 21.8GB，边缘部署吃力；只覆盖 Franka / YAM / SO-100 三种真机，其余本体要自己验证；模型卡没标许可字段，授权写在仓库里，法务容易漏看。

谁该用

要做"完全自建、可审计"的团队；研究具身推理与空间表征的实验室；想用深度信息但不想加深度相机的场景。

P-04

X-VLA

X-VLA 团队 · 2025-11 · ICLR 2026 · 0.9B · Apache 2.0

跨形态0.9B竞赛冠军

用 0.9B 参数做到 98.1 的 LIBERO，比 7.5B 的模型还高。它证明了一件事：在机器人领域，参数量的边际收益远低于表征设计的收益。

参数: 0.9B
VLM 主干: 轻量 Transformer + 软提示
动作头: 软提示条件化解码
许可: Apache 2.0
LIBERO: 98.1

技术框架

软提示（Soft Prompt）：为每个数据集 / 本体学一组可学习提示向量，注入 Transformer 输入端。
跨形态共享：不同自由度、不同末端执行器共用同一套主干权重，只切换提示前缀。
轻量化：0.9B 主干，单卡可训可推，适合快速迭代与边缘部署。
实战背书：AgiBot World Challenge（IROS 2025）冠军方案，ICLR 2026 收录。

核心原理

跨本体最麻烦的是输出维度对不齐：7 自由度机械臂输出 7 维，23 自由度人形输出 23 维，直接共用一个输出头会互相打架，为每个本体单独训一个头又会丢掉共享表征。

软提示相当于给每个本体发一张"身份证"：主干不动，只在输入前加一段属于该本体的向量。主干学的是"机器人怎么动"这个通用规律，提示编码的是"这个身体怎么动"的个体差异。参数几乎不增加，却能容纳数十种形态。

强在哪

参数效率极高（0.9B 打平 5—8 倍体量的模型）；跨形态机制干净可解释；Apache 2.0；已被 LeRobot 收录，能直接接入现有训练脚本。

弱在哪

每来一个新本体，软提示仍要用该本体的数据单独训练，不是"零样本跨形态"；文档与复现材料比大厂薄；0.9B 在长程、多阶段任务上的上限仍待验证。

谁该用

同公司有多条本体产品线（轮式 + 人形 + 机械臂）的厂商；算力有限但需要一套权重通吃的研究团队。

P-05

DM0.5

原力灵机 Dexmal · 2026-07 · 4B + 680M · 15 万小时数据

60 秒记忆具身思维链单卡微调

国内这一轮里工程完成度最高的一个：把"记忆"和"显式推理"做成了模型的一等公民，而不是靠外部框架补丁。

参数: 4B VLM + 680M Action Expert
结构: 双系统（Sys2 规划 / Sys1 执行）
数据: 15 万小时（5 万真机 + 10 万视频）
延迟: 534 ms → 57.5 ms（工程优化后）
微调: 单张 RTX 4090 可完成

技术框架

上下文抽象层：通过上下文压缩实现最长 60 秒的原生记忆，不需要外挂历史缓存。
具身思维链：在机器人数据中引入 11 种自回归推理任务，覆盖任务规划、事件预测、环境预测、动作生成。
轨迹对齐层：用动态规划把预测的动作轨迹与真实执行进度对齐，解决"想得快、做得慢"的错位。
双系统：Sys2 负责高层理解与规划，Sys1 负责高频动作，适配双足人形、轮式、单 / 双臂多种本体。

核心原理

绝大多数 VLA 只吃"当前帧 + 指令"，没有记忆。于是会反复出现同一类失败：刚才把杯子放到哪儿了？这一步做到第几步了？门是往里推还是往外拉？

DM0.5 的 60 秒记忆就是为这类问题准备的。而具身思维链的作用是把"想"显式化成可监督的文本任务——模型不只要输出动作，还要输出"我打算先做什么、可能发生什么"。这两件事叠加，长程任务的稳定性提升远大于单纯放大参数量。

强在哪

RoboDojo 综合 24.90 第一、记忆维度 47.74；延迟压到 57.5 ms；单张 4090 可做下游适配，门槛低；同时覆盖双足 / 轮式 / 单双臂。

弱在哪

4.68B 总量端侧仍重；评测以自建与国内榜单为主，国际独立复现少；60 秒记忆靠压缩实现，超长任务仍会丢细节；权重许可需逐条确认商用范围。

谁该用

需要长程任务与记忆的家用 / 商用服务机器人；国内供应链、中文指令、要快速做 POC 的团队。

P-06

Galaxea G0

星海图 · 2025-09 起持续开源 · 快慢双系统 · 500h 数据集

移动操作全栈开源数据非商用

少数把"数据 + 模型 + 部署代码"一起开出来的移动操作全栈。它的价值不在分数，而在于给了行业一份真实场景的公共标尺。

系统: G0-VLM（Sys2）+ G0-VLA（Sys1）
频率: 2 Hz 规划 / 200 Hz 执行
控制: 23 自由度全身
数据: 500 h · 50 场景 · 150 任务
许可: 权重开放 / 数据 CC BY-NC-SA

技术框架

快慢双系统：G0-VLM 以 2Hz 做语义理解与子任务规划，G0-VLA 以 200Hz 做实时动作控制，异步运行。
全身控制：覆盖底盘、躯干与双臂共 23 个自由度，面向"边移动边操作"的长程任务。
三阶段训练：跨本体预训练学感知与语言 → 单本体高质量数据精训动作 → 少样本后训练补特定任务。
数据配方：500 小时真机移动操作，覆盖住宅 / 厨房 / 零售 / 办公，58 种技能、1600+ 物体，统一 R1 Lite 本体采集。

核心原理

移动操作和桌面操作是两类问题。桌面机械臂底座固定、动作空间小、任务以秒计；移动操作要同时管底盘、躯干和双臂，任务常常持续几分钟，还要在移动中保持操作精度。

2Hz 与 200Hz 的异步双系统，本质是把"想得慢"和"动得快"解耦：慢系统负责 "去厨房把杯子拿来"，快系统负责每一步的稳定抓取。这种分层不是妥协，而是当前算力下最现实的工程解，也是人形机器人普遍采用的结构。

强在哪

数据来自真实住宅与办公，不是实验室摆拍，且层次化语言标注（子任务 + 分步指令）质量高；模型、权重、部署代码同步开放；已迭代出 G0 Plus（开箱即用）与 G0 Tiny（端侧）。

弱在哪

数据集 CC BY-NC-SA 4.0 非商用，商用需另谈；单一本体（R1 Lite），跨本体必须适配；版本迭代快（G0 → Plus → Tiny → G0.5），文档常滞后于代码。

谁该用

服务机器人公司、移动操作研究者、需要真实场景数据做 benchmark 或预训练的团队。

Group B

效率与部署 · 两个把门槛打下来的项目

P-07

SmolVLA

Hugging Face · 2025-06 · 450M · Apache 2.0

CPU 可跑异步推理入门首选

450M 参数，能在笔记本上跑，30 条演示就能开始训。它把"做具身智能"这件事从实验室预算降到了个人预算。

参数: 450M
VLM 主干: SmolVLM-2
动作头: Flow Matching + 异步推理
许可: Apache 2.0
硬件: 消费级 GPU / CPU

技术框架

小主干 + 小专家：SmolVLM-2 做视觉语言编码，动作专家用 flow matching 生成连续动作块。
异步推理：动作以队列形式流式下发，模型在机器人执行当前块的同时预计算下一块，避免"算一步停一下"。
社区数据训练：主要用 Hub 上社区共享的示教数据，而非厂商私有大规模采集。
LeRobot 原生：改一行 --policy.type 即可训练，30 条演示起步。

核心原理

机器人策略的真实瓶颈常常不是精度，而是部署成本与延迟：一个 7B 模型算一步要 100ms，但控制回路要求 50Hz，中间那 80ms 就是灾难。

异步推理是这里的核心设计——把"感知推理"和"动作执行"解耦成两条时间线，机器人按队列连续执行，模型在后台补下一块动作。代价是执行的是"稍旧"的动作，所以动作块长度必须与任务动态性匹配，这一步调不好会明显抖动。

强在哪

门槛最低：消费级 GPU 甚至 CPU 就能跑；Apache 2.0；LIBERO 87.3 分对低成本硬件足够；SO-100 真机 78.3%；LeRobot 原生，教程最多。

弱在哪

450M 表达力有限，长程任务与精细操作上限明显；异步推理会引入"执行旧动作"的滞后风险；效果高度依赖社区数据质量，脏数据会直接反映到策略上。

谁该用

个人开发者、教学场景、SO-100 / SO-101 这类百元级机械臂、需要一天内验证想法的原型。

P-08

OpenVLA-OFT

Stanford / Berkeley · 2025-02 · 7.5B · MIT

MIT25—50× 加速经典基线

对原版 OpenVLA 做的四项工程改造，把推理速度提了一个半数量级。它是"如何优雅地修补一个自回归 VLA"的教科书。

参数: 7.5B
VLM 主干: Llama 2 7B + SigLIP + DINOv2
动作头: 并行解码 + 动作分块
许可: MIT
LoRA 显存: 约 27 GB

技术框架

原版回顾：OpenVLA 把每个动作维度离散成 256 个 bin，逐 token 自回归解码，7 个维度就要跑 7 次。
并行解码：动作 token 之间没有强因果依赖，改为一次前向吐出全部动作 token。
动作分块：一次输出多步动作，减少调用频率，同时平滑轨迹。
连续表示 + L1 回归：放弃离散 bin，直接回归连续动作，消除量化误差。

核心原理

原版 OpenVLA 的所有延迟都堆在"逐 token 解码"上：每生成一个动作维度都要完整跑一遍 7B 模型，而且每一步还要把上一步的输出喂回去。这个设计是从语言模型直接继承来的，但在控制场景里完全没必要。

OFT 的洞察很朴素——动作的 7 个维度是同时发生的，不存在"先算 x 再算 y"的因果链，那就并行输出。再叠加动作分块与连续回归，四两拨千斤地把速度提了 25—50 倍。

强在哪

MIT 许可最宽松；改造在 OpenVLA 基础上微调即可，迁移成本低；速度提升一个数量级且成功率不降反升；LIBERO 四个套件的检查点全有。

弱在哪

7.5B 仍然重，LoRA 要 27GB、全量要 80GB；Llama 2 骨干的语义能力已落后 Qwen3-VL 一代；多视角与任意分辨率支持有限；本质是 2024 年架构的优化版。

谁该用

已有 OpenVLA 管线、想低成本提速的团队；教学与论文复现（它的消融做得最干净）。

Group C

世界模型与训练底座 · 两个不在策略层但决定上限的项目

P-09

Cosmos 3

NVIDIA · 2026-06 · 4B / 16B / 64B · OpenMDW 1.1

世界模型Omni合成数据

物理 AI 的数据瓶颈不在采集，而在长尾。Cosmos 3 的作用是把"想象"变成训练数据—— 这是 2026 年整个领域最大的变量。

参数: Edge 4B / Nano 16B / Super 64B
架构: Mixture-of-Transformers
模态: 文本 / 图像 / 视频 / 声音 / 动作
许可: OpenMDW 1.1
端侧: Edge 4B 可上 Jetson Thor

技术框架

MoT 双 Transformer：推理 Transformer 先理解场景与物理关系，生成 Transformer 再产出视频与动作轨迹。
三档规格：Super 64B 追求最高物理保真，Nano 16B 追求速度，Edge 4B 面向端侧视觉推理与机器人策略。
四种用法：当 VLM 做理解、当世界模拟器预测未来状态、当合成数据生成器、当 World Action Model 的骨干。
配套工具：Cosmos Curator（数据清洗去重）、Evaluator（生成质量打分）、Omniverse + OpenUSD（场景搭建）。

核心原理

真实机器人数据的分布极其偏斜：99% 是正常光照下的正常抓取，1% 是打翻、滑落、遮挡、反光。而后者恰恰是策略最容易崩的地方，却几乎采不到、也不敢采。

世界模型把"如果这样动会怎样"变成可生成的视频，于是长尾可以无限补。 MoT 把理解与生成拆成两个 Transformer，是因为这两件事的最优表征不同—— 推理要语义抽象，生成要像素保真，硬塞进一套权重会互相拖累。先想清楚，再画出来。

强在哪

开源世界里唯一同时覆盖理解、生成、动作的 omni 模型；Physics-IQ、PAI-Bench、RoboLab、VANTAGE 多榜第一；Edge 4B 能上 Jetson；许可允许后训练与商用。

弱在哪

64B 训练成本极高；生成视频的物理一致性仍有破绽（穿模、物体恒常性丢失）；直接当策略用不如专用 VLA；OpenMDW 不是标准 OSI 许可，商用条款需法务逐条确认；权重体积巨大。

谁该用

需要合成数据补长尾的团队；自动驾驶与机器人仿真；做 World Action Model 方向研究的实验室。

P-10

LeRobot

Hugging Face · v0.6.1（2026-08）· Apache 2.0 · 25k+ stars

生态底座20+ 策略数据格式标准

它不是模型，但没有它，前面九个你都跑不起来。具身智能的复现难题，一半是"数据格式、硬件接口、训练脚本各写各的"，LeRobot 就把这三件事收敛成了一套。

形态: 训练 / 数据 / 部署框架
策略库: 20+（模仿 / RL / VLA）
硬件: 13 类本体统一接口
数据格式: LeRobotDataset v3
许可: Apache 2.0

技术框架

硬件抽象：统一 Robot 接口（connect / get_observation / send_action），换硬件只改 --robot.type。
数据格式 v3：Parquet 存状态、MP4 存视频、元数据定位回合边界，支持从 Hub 流式加载 400GB+ 数据集。
策略库：ACT、Diffusion、VQ-BeT、π0 / π0.5 / π0-FAST、GR00T N1.7、SmolVLA、X-VLA、MolmoAct2 等统一在 --policy.type 下。
工具链：19 个 lerobot-* 命令覆盖采集、训练、评测、rollout、标注；内置 LIBERO / MetaWorld / RoboCasa 仿真封装与 gRPC 异步推理。

核心原理

复现一个 VLA，真正的成本不在模型代码，而在三件琐事：数据格式对不上、硬件接口不一样、评测脚本各家一套。结果是"同一个策略在三个本体上对比"这种最基础的实验，要花几周做胶水。

LeRobot 的价值是定义了接口而非模型：把"机器人"抽象成三个方法，把"数据集"抽象成一种 schema，把"策略"抽象成一个配置项。抽象一旦统一，比较、迁移、复现才成为可能—— 这也是为什么 π0.5、GR00T、MolmoAct2、X-VLA 都主动来适配它。

强在哪

事实标准：25k+ stars、16k+ 数据集、ICLR 2026 论文；v3 格式支撑 400GB+ 流式训练；主流 VLA 官方适配；DAgger 式 rollout 纠错闭环让数据越用越好。

弱在哪

它是框架不是模型，解决不了精度问题；v0.6 破坏性变更多（模块改名、SAC 改名、GR00T N1.5 移除），生产必须锁版本；GR00T 微调要 A100 80G，个人跑不动。

谁该用

所有人。它应该是一个项目的第一个依赖，而不是最后一个。

数字对照：分数、显存、数据

三组数字决定你能不能落地：分数决定上限，显存决定成本，数据决定周期。只看第一组的团队，通常在第二组上翻车。

LIBERO 平均成功率

各机构自报 · 微调后 · 不可跨数据集比较

X-VLA 0.9B98.1

MolmoAct2-Think 5.4B98.1

GR00T N1.7 3B98.0

MolmoAct2 5.4B97.2

OpenVLA-OFT 7.5B97.1

π0.5 3.6B96.9

SmolVLA 450M87.3

OpenVLA 原始版 7.5B76.5

条形按 70—100 区间归一化。注意：90 分以上已接近该基准的天花板，1—2 分之差无统计意义。

预训练数据规模

小时 · 真机数据 vs 人类视频

DM0.5 真机 + 视频150k h

GR00T N1.7 人类第一视角20k h

MolmoAct2 双臂真机720 h

Galaxea G0 开放世界500 h

π0.5 单任务适配1—20 h

条形按平方根缩放以便同图对比；真实差距是数量级级别的。

项目	推理显存	微调门槛	最少演示	许可要点
SmolVLA	消费级 / CPU	单卡 24GB	30 条	Apache 2.0，最自由
π0.5	8 GB	LoRA 22.5GB / 全量 70GB	50 条	Apache 2.0（openpi 仓库）
GR00T N1.7	16 GB	推荐 40GB+	50 条	代码 Apache · 权重 NVIDIA Open Model
MolmoAct2	< 16 GB	未标注	未标注	Apache 2.0 写在仓库，不在模型卡
X-VLA	未标注	单卡	未标注	Apache 2.0
OpenVLA-OFT	16—18 GB	LoRA 27GB / 全量 80GB	未标注	MIT，改动自由度最高
DM0.5	未标注	单张 4090	未标注	开源权重，商用范围需确认
Galaxea G0	未标注	未标注	未标注	权重开放 · 数据 CC BY-NC-SA（非商用）
Cosmos 3	4B 可上 Jetson	64B 需多卡	不适用	OpenMDW 1.1，非标准 OSI
LeRobot	不适用	ACT/SmolVLA 24GB	50 条（ACT）	Apache 2.0

三个必须说清楚的前提： ① LIBERO 是桌面、单臂、四个套件为主的基准，2026 年已接近饱和，90 分以上的差距不能外推到你的任务； ② 所有分数均为各机构自报，"微调后"的数据配方、训练步数、增强策略各不相同； ③ 显存数字是下限，实际训练还要乘上 batch、图像分辨率与动作块长度的影响，通常需要 1.5—2 倍冗余。

怎么选：四个问题足够

物理 AI 的选型比时序模型更简单：约束更硬，答案更少。先回答这四个，基本就定了一个。

① 你的硬件是什么？

笔记本 / 单张 4090：SmolVLA 起步，够用再上 π0.5。
Jetson 端侧：GR00T N1.7（TensorRT 路径成熟）或 Cosmos 3 Edge。
多卡集群：可以碰 MolmoAct2 / OpenVLA-OFT。

② 本体是单臂还是全身？

桌面单臂：π0.5 / SmolVLA / X-VLA 任选。
双臂 / 人形：GR00T N1.7（全身 + 可商用）或 Galaxea G0（23 DoF 移动操作）。
多本体产品线：X-VLA 的软提示最省事。

③ 任务有多长？

单步抓放（< 10 秒）：任何 VLA 都行，优先延迟低的。
多阶段（1—3 分钟）：需要记忆或分层，选 DM0.5（60 秒记忆）或双系统的 G0 / GR00T。

④ 你有多少真机数据？

< 50 条：先做数据，别做模型；或用 Cosmos 3 生成合成数据补。
几百条：π0.5 / MolmoAct2 微调。
上万条：可以考虑自己后训练一个基座。

最小可跑：用 LeRobot 训一个 SmolVLA

# 1) 环境：Python 3.12+，PyTorch 2.7+，v0.6 起是精简安装 + extras
pip install "lerobot[smolvla,dataset]"

# 2) 采 30—50 条示教（SO-101 主从臂）
lerobot-record --robot.type=so101_follower --teleop.type=so101_leader \
  --dataset.repo_id=you/pick_cube --dataset.num_episodes=50

# 3) 训练：只改 policy.type，数据格式自动对齐
lerobot-train --policy.type=smolvla --dataset.repo_id=you/pick_cube \
  --output_dir=outputs/smolvla_pick --batch_size=8 --steps=20000

# 4) 真机 rollout：失败处按键接管，纠正帧自动回传（DAgger）
lerobot-rollout --strategy.type=dagger --policy.path=outputs/smolvla_pick \
  --robot.type=so101_follower --teleop.type=so101_leader

换成 π0.5 只需 --policy.type=pi05，换成 GR00T 用 --policy.type=groot （需要 A100 80G，且要 LeRobot v2 格式）。这就是统一抽象带来的实际收益：比较两个模型，只改一个字段。

五个还没解决的问题

这一代 VLA 的演示视频很惊艳，失败视频同样多。以下五点在公开材料里反复出现，且没有一个项目真正解决。

任务中途的恢复能力。 抓空了、物体滚走了、有人闯入工作区——VLA 会盲目重复失败动作。根源是训练数据里几乎没有"失败后怎么补救"的样本，而这类样本只能靠人在线纠错采集（DAgger 正是为此而生）。
样本效率的数量级差距。 人几分钟能学会用一件新工具，VLA 需要几十到上百条示教。数据缩放定律显示：泛化随"环境数 × 物体数"呈幂律增长，而不是随"重复次数"增长——堆同一条轨迹的重复录制毫无意义。
跨本体的伪共享。 多数"跨本体"是靠统一动作空间或软提示实现的，本质仍是每个本体单独适配。真正零样本迁移到一台没见过的机器人，目前没有可靠方案。
评估不可比。 LIBERO 接近饱和，真机实验各家硬件、相机、标定、任务定义都不同。同一个模型在两篇论文里能差 10 个点，原因往往不是模型，而是评测脚本。
安全与可解释性。 开权重让审计成为可能，但没有任何一个项目提供形式化的安全保证。一个 4B 网络直接输出关节速度指令，中间没有可验证的约束层——这才是工业部署的真正拦路虎，而不是精度。

一句话总结：2026 年选物理 AI 项目，先分层——你缺的是策略、是世界模型、还是数据管道。策略层已经收敛到"VLM + 动作专家"这一种形态，差异只在动作头和数据；真正的护城河不在模型权重，而在你自己采的那几百小时数据。

通用科学研究Agent平台智慧城市项目 GitCC开源社区 DeepOpen官网我们的技术核心开源物理AI 具身数据采集