物理 AI 的数据集地图 十个能产数据、能让普通人参与的开源数据集：技术框架、设计原理、逐个拆解，以及你从哪一步进去

三个判断，决定这页怎么读

第一，物理 AI 的数据只有三种来源，没有第四种。人在真实世界里做（人采）、机器人在真实世界里做（机采）、模型在仿真里生成（生成）。你听到的所有数据集名字，都是这三者的不同配比。Figure Index 是纯人采，AgiBot World 是纯机采，Cosmos 3 的六件套是纯生成，RoboMIND 2.0 是 31 万条机采 + 2 万条生成。

第二，能不能参与，取决于传感器在谁手上。手机在你手上，所以 Figure Index 是零门槛；头戴设备和夹爪要花几百到几千块，所以觅蜂派要申领；机器人要几万到几十万，所以 RoboMIND 只对机构开放；只有 GPU 就能造，所以 Cosmos 3 对个人最友好。这不是「开放程度」的差别，是物理约束。

第三，数据集的价值是分布，不是条数。DROID 只有 7.6 万条，是 AgiBot World 的 7.6%，但它是零样本评测里最常被引用的真机集——因为它固定了本体和相机布局，分数才可比。反过来，ARIO 有 303 万条，却几乎没人拿它当评测集。条数决定「能不能训」，一致性决定「能不能比」。

谁在出传感器：一张图看清十个数据集的位置

下面这张图把十个数据集按两个轴摆开：横轴是你为了产数据要花多少钱（对数刻度，从 0 到 30 万元），纵轴是数据集已公开的规模（对数刻度，从一千条到一千万条）。斜线是「规模越大、门槛越高」的趋势线——绝大多数数据集贴着它，偏离它的才值得注意。

1.1为什么按「谁出传感器」分组

按「机器人 / 自动驾驶 / 世界模型」分类，是产品视角；按「采集 / 仿真 / 众包」分类，是技术视角。这两种分类都不能回答一个具体问题：我，现在，能往哪个数据集里加一条数据？

按传感器归属分，答案立刻清楚：

• 人出传感器（A 组）：你身上就有摄像头，所以门槛在制度不在硬件——平台要不要你、设备寄不寄得到、审核过不过。这一组的核心能力是规模化，不是精度。
• 机器人出传感器（B 组）：数据质量高、动作是执行出来的，但你必须有一台机器人，或者能进一个有机器人的实验室。这一组的核心能力是一致性。
• 模型出传感器（C 组）：不需要真实世界，只需要算力和一个像样的仿真器。这一组的核心能力是可控性——你能精确指定要什么分布，也能精确地自欺欺人。

1.2十行速览：先记住一句话，再往下读

下面每行是一句话定位加一条进入路径。点名字跳到详细拆解。

三种生产方式：动作是从哪来的

数据集的差别，归根到底是动作标签怎么得到。同一段「把杯子放进水槽」的视频，在人采数据集里动作是反推的，在机采数据集里动作是读出来的，在生成数据集里动作是算出来的。这三种来源决定了误差量级，也决定了你能拿它做什么。

2.1人采：便宜、量大、动作是猜的

人采的技术核心不是相机，是位姿重建。手在画面里动，你怎么知道它在世界坐标里的位置？三条路：

• SLAM（视觉惯性）：UMI 的原始方案。便宜（一个鱼眼 + IMU），但会漂移，快速运动或纹理缺失时跟踪会断。
• 外部光学动捕：腾讯 Hy-UMI-10K 的做法。亚毫米精度，但要在铺了动捕相机的房间里采，成本几万到几十万，移动性为零。
• 头显自带追踪：EgoDex 的做法。Vision Pro 的手部追踪本身就是标注器，采集即标注，省掉整个后处理环节——但只给你手，不给你物体的 6D 位姿。

这三条路的共同点是：动作永远是估计值。所以人采数据训出来的策略，在精细任务上会有一个精度天花板——不是模型不行，是标签本身有噪声，模型学到了一部分噪声。

2.2机采：贵、慢、动作是真的

机采的关键优势是闭环真实：机器人真的动了，接触真的发生了，失败真的失败了。这带来两个别人给不了的东西——

一是力与触觉。RoboMIND 2.0 有 1.2 万条带触觉的序列，AgiBot World 的触觉是图像而不是力矩，这个差别在力控任务上是致命的（见 B3 的局限）。二是失败样本。机采可以刻意保留「抓歪了 → 重抓」的过程，人采很少录这种。

代价是场景被固定。一台机器人 + 一个工位，采出来的分布就是那个工位的分布。这是 AgiBot World 建 4,000 平米片场、DROID 跑 564 个场景的原因——它们都在用「多场景」对抗「单本体」的偏差。

2.3生成：可控、无限、可能自欺

生成路线分两种，混在一起谈会出错：

Cosmos 3 属于第二类，但它同时给了 action 输出（Cosmos3-Edge-Policy-DROID 支持 8 维 DROID 动作），所以介于两者之间。NVIDIA 的 GR00T-X-Embodiment-Sim 属于第一类。

2.4把三种方式放在一张表里

十个数据集：规格、原理、以及你怎么进去

下面每个条目固定五段：它是什么（一句话定位）、规格（能核对的数字）、技术框架与原理（为什么这样设计）、你怎么参与（分档，带成本和时间）、局限与陷阱（用了才会踩到的）。

A 组 · 人出传感器

B 组 · 机器人出传感器

C 组 · 模型出传感器

十个数据集放在一张表里

下面这张表是这一页最实用的部分。看的时候注意三列：动作来源决定精度上限，许可决定能不能商用，参与门槛决定你从哪进。

你从哪一档进去：五档门槛与两条路线

「参与物理 AI 数据」听起来很重，实际有五档，从完全不花钱到有自己的场景。多数人卡在「以为必须买机器人」这一步——其实最低两档根本不需要。

5.1五档门槛

5.2两条路线：一个周末 vs 一周

路线 A 的具体日程

# Day 1 上午：装环境，下一条真数据看看
pip install "lerobot[feetech]"          # 需要 Python ≥ 3.12
huggingface-cli download lerobot/pusht --repo-type dataset --local-dir ./pusht

# Day 1 下午：只看结构，不训练
python -c "
import json;m=json.load(open('./pusht/meta/info.json'))
print(m['fps'], m['features'].keys())"
ls ./pusht/data/chunk-000/ | head -3

# Day 2 上午：生成 50 条仿真轨迹（RoboTwin / Isaac Lab 皆可）
bash collect_data.sh beat_block_hammer demo_clean 50

# Day 2 下午：转成 LeRobot 格式，确认能被 Dataset 读进来
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 \
  --repo-id=you/sim-block-hammer --root=./sim-data

# Day 3：训一个最小的策略，只求 loss 下降
python -m lerobot.scripts.train \
  --policy.type=act --dataset.repo_id=you/sim-block-hammer \
  --batch_size=8 --steps=2000 --output_dir=./out

三天之后你应该能回答三个问题：一条 episode 里有哪些字段、动作是什么坐标系、训练时样本是怎么拼成 batch 的。答不上来，说明中间有一步是抄的。

路线 B 的具体日程

把自己采的东西做成别人能用的数据集

采到数据不等于有数据集。中间隔着一件事：让别人不用问你任何问题就能跑起来。这一节是这一页最像工程手册的部分。

6.1一条数据的六段旅程

6.2八项验收：上传前逐条过一遍

下面八条是从上面十个数据集的数据卡里反推出来的。它们不需要高深工具，一条 Python 脚本就能全查（6.4 给了脚本）。

6.3目录结构与上传

LeRobot v3 的结构是目前事实上的通用格式。哪怕你最终不用它训练，也建议按它组织——因为别人接手时不用问问题。

my-dataset/
├── meta/
│   ├── info.json            # fps / 相机键 / 动作维度 / 代码库版本
│   ├── episodes.jsonl       # 每条：长度、任务索引、成功与否
│   ├── tasks.jsonl          # 任务描述（一条一句自然语言）
│   └── stats.json           # 每个特征的 mean/std/min/max
├── data/chunk-000/
│   └── episode_000000.parquet
└── videos/chunk-000/
    └── observation.images.top/episode_000000.mp4

# 上传（两种方式等价，选一种）
hf auth login
hf upload you/my-dataset ./my-dataset --repo-type dataset

# 或者用 huggingface-cli（旧写法，仍可用）
huggingface-cli upload you/my-dataset ./my-dataset --repo-type dataset

# 上传后自检：换一台机器，不看你任何文档，直接读
python -c "
from lerobot.datasets import LeRobotDataset
d=LeRobotDataset('you/my-dataset')
print(len(d), d.meta.fps, d.meta.features.keys())"

数据卡（README.md）至少写四件事：这是什么场景、采集设备与标定方式、失败样本比例、许可。缺任何一项，别人下载后第一件事就是来问你。

6.4一段能直接用的自检脚本

# check_dataset.py — 只依赖 numpy / pyarrow，不需要装 lerobot
import json, sys, numpy as np, pyarrow.parquet as pq
from pathlib import Path

root = Path(sys.argv[1] if len(sys.argv) > 1 else ".")
info = json.load(open(root / "meta/info.json"))
fps  = info["fps"]
bad  = []

for ep in sorted((root / "data").rglob("*.parquet")):
    t = pq.read_table(ep).to_pydict()
    n = len(t["timestamp"])
    ts = np.array(t["timestamp"])

    # 1 时长与帧率
    if abs(n / fps - ts[-1] - 1 / fps) > 0.05 * (n / fps):
        bad.append((ep.name, "duration", n, ts[-1]))

    # 2 时间戳单调
    if not (np.diff(ts) > 0).all():
        bad.append((ep.name, "non-monotonic", int((np.diff(ts) <= 0).sum())))

    # 3 动作/状态 长度与维度
    for k in t:
        if k.startswith("action") and len(t[k]) != n:
            bad.append((ep.name, "len-mismatch", k, len(t[k]), n))
        if k.startswith("action"):
            a = np.array(t[k], dtype=object)
            if any(not np.isfinite(np.asarray(x, dtype=float)).all() for x in a):
                bad.append((ep.name, "nan", k))

print(f"episodes checked: {len(list((root/'data').rglob('*.parquet')))}")
print("issues:", len(bad))
for b in bad[:20]:
    print("  ", b)

这段脚本只能抓机械性问题（长度、单调、NaN），抓不到「动作与画面错位」——那必须靠肉眼回放。所以第 3 项验收永远需要人看五分钟，不能省。

六个现实：账要算清楚

这一节写的是坏消息。它们不影响「该不该参与」，但影响「参与之后会不会失望」。

7.1众包的账不好算

标称 0.24 元/分钟 ≈ 14 元/小时，这是有效时长的单价。实际到手要先扣三样：无效帧（手出画、遮挡、抖动不计费）、设备租金（内测 19 元/天，恢复后 39 元/天）、以及「不串」规则导致的重复场景作废。按日采 2 小时算，19 元档大约净赚 9 元，39 元档基本白干。

7.2本体鸿沟是真的

人手约 21 个自由度，两指夹爪 1 个开合维度。从 H-UMI 到两指夹爪，丢的是对指、侧捏、掌心包裹——恰好是精细操作最需要的部分。EgoDex 的论文自己承认 embodiment gap，但「重定向损失多少」目前没有公开评测集。这是 2026 年整个领域最缺的一块。

7.3有效数据要打三折

行业经验值是采 3 条用 1 条：1/3 因为动作或画面质量报废，1/3 因为分布重复被裁掉，剩下 1/3 才是净增信息量。数据卡上写 50 万条，实际可训的可能只有 15 万条。这不是造假，是口径——但你必须知道。

7.4三种许可，三种权利

代码许可（Apache 2.0）、数据许可（CC BY-NC-SA）、模型权重许可（自定义）是三份独立的合同。RoboCOIN 的代码开源不代表它的 18 万条可以随便商用；AgiBot World 的 CC BY-NC-SA 也不覆盖你用这份数据训出来的模型。做商业产品前，逐项确认，不要用一个「开源」概括。

7.5隐私是绕不过的

第一人称视频里有脸、有家庭布局、有工位工艺。EgoDex 这类数据集要求采集者同意，但被拍到的人呢？便利店场景里顾客的脸呢？目前的做法是「模糊化 + 授权书」，两者都不完美。

7.6规模会继续通胀

国内已在使用或规划中的人形机器人数据采集中心超过 90 个。当供给端以「万小时」为单位扩张时，「我有 100 万条」这个卖点会迅速贬值。真正保值的是别人采不到的分布——某个行业的工位、某类特殊物体、某种极端工况。

五条正在发生的转向

三个判断

判断一：采集权正在从实验室放出，但没有放到个人手上。放到的是「机构」和「平台」手上——你有场景就能进（L4），你有设备就能采（L2），但你想一个人产一百万条，不可能。这不是技术限制，是审核、结算、法务三件事的成本。

判断二：未来两年最稀缺的不是数据，是「标注口径」。AgiBot 的四层标注、RoboCOIN 的三层能力金字塔，这两套东西可以直接搬到你自己的几百条数据上，成本几乎为零，收益是把「能训」变成「训得动」。多数团队采了几千条却训不出东西，问题都在「只有一句任务指令」。

判断三：合成数据会变成默认，真机数据会变成锚点。当生成成本降到 0.1 元/条，没人会用 40 元/小时去采「普通场景」。真机数据会收缩到两个用途：提供真实分布锚点、提供评测分母。这个转变对个人是好消息——你不需要采一万条，你需要采对的那一百条。

速查

A · 常用命令

# 只看某个子集的目录，不下载
hf download nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim \
  --repo-type dataset --include "gr1_arms_only.CanSort/**" --dry-run

# 只下 3 条 episode 试读（大仓库必备）
hf download lerobot/pusht --repo-type dataset \
  --include "data/chunk-000/episode_00000[0-2].parquet"

# 看数据卡里的关键字段
python -c "
import json;m=json.load(open('meta/info.json'))
print({k:m[k] for k in ('fps','robot_type','total_episodes') if k in m})
print(list(m['features']))"

B · 术语

Episode

一条完整演示，从初始状态到任务结束（成功或失败）。

Chunk

策略一次前向输出的动作块长度，常见 50 或 100 步。

UMI

Universal Manipulation Interface，手持夹爪 + 相机采集末端轨迹的方案。

重定向

把人手 / 手持设备的轨迹映射到机器人关节角的过程，是跨本体的必经环节。

Embodiment gap

采集本体与部署本体之间的形态差异，导致策略迁移损失。

Sim2real

仿真训练到真机部署的迁移，差距来自接触模型、材质、光照、传感器噪声。

门控（gated）

数据集需登录并接受条款才能下载，匿名脚本会失败。

C · 三十天路径