04
十个项目：谁能让你真正采到数据
下面按「数据从哪来」分四组：A 手持无本体（不买机器人）、B 真机遥操（买机器人但协议标准）、C 仿真合成（只烧显卡）、D 人类示教的规模化池子（别人已经采好一万小时）。
每张卡片固定四层：技术框架（具体到传感器、频率、动作表示）、原理（为什么这样设计）、优势与局限，最后一块是你能贡献什么——按零成本 / 轻量 / 重度三档给出具体动作。
GROUP A
手持无本体：不用机器人，也能产机器人数据
01
Grabette + Gripette
Pollen Robotics（Hugging Face）· 2026-07 · 硬件 + 采集软件 + 浏览器后处理全开源
Apache 2.0€490 BOM无本体LeRobot v3
它把「采机器人数据」的成本压到了一台游戏机以下：不用机器人、不用遥控台、不用装任何软件。拿起夹爪按一下，浏览器里点一下，数据就成了 Hugging Face 上的标准数据集。
- 采集端
- 手持夹爪 + 鱼眼 + 深度
- 采样率
- 10—20 Hz 同步
- 输出
- LeRobotDataset v3.0
- 许可
- Apache 2.0（可商用）
- 成本
- €490 + €120
技术框架
- 主控与同步：树莓派 Zero 2W 统一时钟，同步四路流——鱼眼广角（1296×972，给策略的腕部视角）、OAK-D 深度、IMU、夹爪磁编码器。
- 位姿重建：OAK-D 跑 RTAB-MAP，从深度 + 视觉恢复 6-DoF 轨迹；这是全系统最脆的一段，也是必须做后处理校验的原因。
- 执行端孪生：Gripette（€120）装两个 Feetech STS3215 舵机 + 一颗相机，BOM 与 Grabette 同源，装到机械臂上复现动作。
- 零安装后处理：录完数据留在 Pi 上，浏览器打开 Hugging Face Space 里的 dashboard，勾选 episode → SLAM 重建 → 校验轨迹完整性（查跳变、跟踪丢失）→ 转 LeRobot v3 → 推到 Hub。
- 动作空间：相机坐标系下的 6-DoF 笛卡尔位姿 + 夹爪状态，刻意做成与机器人无关。
原理：为什么采集器和执行器要用同一套 BOM
传统遥操作的迁移误差来自主臂与从臂的几何差异——主臂的连杆长度、关节限位和从臂不一样，操作员学到的动作映射到从臂上就变形了。
Grabette 的做法是把「采集硬件」和「执行硬件」做成同一套设计：开口、行程、摩擦剖面一致，人手的示范天然就是夹爪的示范。剩下的唯一差异是「手腕怎么装到机械臂上」，用一个相机坐标系下的位姿表示就能吸收掉。
代价也很直接：人手能拧到的角度，6 自由度机械臂未必能到。所以轨迹必须做可达性筛选，否则训出来的策略会在真机上撞限位。
优势
不到 500 欧就能开工；零软件安装；输出即标准格式；Apache 2.0 可商用；有 200 条演示训出 diffusion policy 的完整验证链路。
局限
SLAM 会跟踪丢失，需人工筛 episode；无触觉与力反馈；Gripette 装到目标臂后仍需重新标定；官方尚未公布真机成功率的对照数据。
谁能用
个人爱好者、职校教学、小团队做长尾场景。想清楚「我要采别人没采过的场景」，这个设备的性价比最高。
参与方式你能贡献什么
- ZERO COST用 Hub 上已发布的 Grabette 数据集训一个 diffusion policy，先把「格式 → 训练 → 推理」链路跑通，不花钱。
- LIGHT3D 打印 + 采购约 490 欧（≈3,800 元）组装，在家录 50—200 条，浏览器一键上传成公开数据集。
- HEAVY复刻 Gripette 装到自家机械臂做闭环评测，把标定脚本与可达性筛选代码回馈仓库——这是它目前最缺的部分。
02
UMI ver.2
穹明智能 · 2026 · 同族：OpenJaws（2026-10，全开源 + 双目）、UMI Dex（灵心巧手，同构灵巧手 + 原生触觉）
< 3,000 元毫米级双臂30 分钟搭建
UMI 这条线的价值不在硬件，在「协议」：它证明了手持设备采的数据可以零样本迁移到完全不同的机器人上。ver.2 把这套协议做到了双臂、毫米级、三千元以内。
- 采集端
- 手持双臂夹爪
- 精度
- 复现误差 < 1 mm
- 模态
- 视觉 + 位姿 + 夹爪
- 搭建
- 约 30 分钟
- 成本
- 整套 < 3,000 元
技术框架
- 感知：鱼眼镜头 + 侧面反射镜扩大视野，IMU 做视觉惯性里程计，恢复手腕 6-DoF 轨迹。
- 延迟匹配：显式估计并补偿相机曝光、执行器、通信三处延迟——这是 UMI 能在动态任务上稳定的关键，也是它区别于「拿个相机拍视频」的地方。
- 相对轨迹动作表示：策略输出相对当前末端的位移，而非绝对关节角，从而跨本体。
- 三个演进方向：OpenJaws 用低成本双目替掉单目 VIO 解尺度歧义，并发布 UMI-Loc-Bench-v1 量化定位精度；UMI Dex 把采集器做成灵巧手的「同构体」，四路数据 10 ms 级对齐、原生带触觉；UMI ver.2 把价格和双臂场景压下来。
原理：把机器人从采集环节摘掉
遥操作的根本浪费是「为了采数据，必须先买一台机器人」。UMI 只保留夹爪这一个与机器人相同的界面，于是数据天然跨本体，采集成本降到一台设备的钱。
但摘下机器人也摘掉了两样东西：力反馈和运动学约束。前者靠加装末端力/力矩传感器补，后者靠「相对末端增量 + 可达性筛选」补。
理解这一点，就理解为什么所有 UMI 变体都在同样的三个地方做加法：定位精度、触觉、同构程度。它们不是功能堆砌，是在逐个偿还「没有机器人」欠下的债。
优势
最便宜的双臂方案；毫米级精度；30 分钟搭建；生态成熟，已有多个设备商与变体；导出格式可直连 Diffusion Policy / π0.5。
局限
要到亚毫米必须上外部光捕（成本立刻翻倍）；纯视觉方案对遮挡敏感；无机器人真实动力学；家用手持设备的重复定位精度需自己验证。
谁能用
高校实验室批量部署（一台不到三千，一个班几十台也扛得住）、需要双臂数据的小团队、做精细插接类任务的团队。
参与方式你能贡献什么
- ZERO COST先读 OpenJaws 的 UMI-Loc-Bench-v1，理解「定位精度怎么被量化」，再决定自己要不要买设备。
- LIGHT三千元级采购 + 半小时组装，用自家场景采 100—300 条，导出 LeRobot 格式公开。
- HEAVY做「标定误差 vs 任务成功率」的对照实验并公开——这是整个 UMI 生态最缺的一类数据。
03
MEgo + 觅蜂派
觅蜂科技（智元控股）· 2026-09-23 上线 · 头戴采集设备 + 众包 App
众包劳务10—30 元/有效小时22 类场景5000+ 任务
十个项目里唯一一个「不需要你懂技术、只需要你去干活」的入口。它把具身数据生产做成了外卖平台的形态：任务大厅、设备租赁、按有效时长结算。
- 采集端
- 头戴式（EGO 路线）
- 覆盖
- 22 类 · 5000+ 任务 · 5 万+ 环境
- 结算
- 10—30 元 / 有效小时
- 设备
- 39 元/天，推广期 19 元
- 冷启动
- 内测月 2 万注册 / 1.3 万份提交
技术框架
- 设备：独立头戴采集终端，第一人称视角 + 手部观测，走「无本体采集」路线——人不带机器人，只带相机。
- 任务分发：App 任务大厅按场景分类（生产、生活服务、餐饮、物流、医疗、居住等），标注剩余名额与单价，按时长配额发放，采满即停。
- 质检闭环：上传后平台做清洗、标注与质量分级，只有审核通过的有效时长才结算；平台方称已回收数据中有效占比约 80%。
- 定价机制：城市基础定价 + 动态补贴；稀缺场景（修水管、修车、理发、美甲）加价，泛滥场景（叠衣服）降价。
- 制度侧：2026-09-09 人社部第八批新职业增设「具身智能机器人应用技术员」，下设「数据采集员」「训练师」两个工种。
原理：众包解决的是「长尾场景进不去」
数采中心只能复刻样板间。真实世界的多样性分布在酒店客房、冷链仓库、理发店、汽修厂里——这些地方你租不到、也搭不出来。
让正在干这件事的人顺手采，动作的标准度和场景的真实度都优于实验室里的脚本化采集。这是平台方公开说法中少数几条真正有说服力的：专业工种的熟练动作，本身就是最好的示范数据。
代价是质量方差极大。所以整套系统真正的核心不是设备，是「有效时长结算 + 三级质检」这套收敛机制——它把不可控的众包变成了可控的产线。
优势
零技术门槛；零设备投入（租赁制）；场景多样性碾压实验室；有官方职业认定；任务时长灵活，几分钟到 90 分钟都有。
局限
时薪低且在下调（居家场景从 20 元降到 10 元）；要先交押金租金；热门任务被抢空；审核不通过不结算；隐私与商业机密风险需自己判断。
谁能用
想零成本入行的学生与兼职者；有真实工种的从业者（保洁、理货、后厨、装配）；想把门店/仓库变成数据产线的企业。
先算一笔账再决定：设备租金推广期 19 元/天，按 10 元/有效小时算，每天要采满约 2 小时才回本；恢复 39 元/天原价后要约 4 小时。内测一个月 2 万注册、1.3 万份提交，人均不足一份——注册数不等于持续采集的人数。把它当「顺便赚点、顺便看看这个行业」可以，当收入不行。
参与方式你能贡献什么
- ZERO COST下载 App 看任务大厅，先判断你手上的场景在不在需求里（居家已泛滥，专业工种仍稀缺）。
- LIGHT申领设备、接任务、按有效时长结算；或申请「机器人训练师」做质检标注——同样时间，单价比纯采集高。
- HEAVY以场景方身份整体接入（门店/仓库/工厂），把员工日常工作变成数据产线，拿分成而不是时薪。
04
EgoDex
Apple · ICLR 2026 · github.com/apple/ml-egodex
829 小时194 任务Vision Pro数据开源 · 训练代码未放
它给出了「被动可扩展」的极限样本：不用刻意采集，你戴着 Vision Pro 做日常家务，ARKit 就在录制的同时把每只手 25 个关节的位姿算好了。
- 规模
- 829 h / 9,000 万帧 / 33.8 万条
- 任务
- 194 个桌面操作
- 标注
- 30 fps · 1080p · 双手 25 关节 + SE(3)
- 体积
- 约 2.0 TB
- 动作
- 48 维（双腕 + 10 指尖）
技术框架
- 采集即标注：Vision Pro 多目相机 + 设备端 SLAM，ARKit 实时输出头、上肢、双手 25 个关节的位置与朝向，每段录制初始化一个世界坐标系。
- 可信度字段：每帧附相机内外参与每关节置信度，用来识别遮挡或跟踪失败——这是它能被当作数据而非视频用的关键。
- 统一动作表示：48 维 = 双腕位置 + 6D 姿态 + 10 个指尖位置，固定时域的动作块，便于不同策略横向比较。
- 评测协议：每个样本生成 K 条轨迹取与真值最近的一条，统计 12 个关键点的平均 3D 距离与末帧距离，让确定性 BC 与多模态生成策略在同一标尺上比。
- 基准结论：训练了 14 个模型（encoder-decoder / decoder-only × BC / DDPM / 流匹配）；K 增大时生成策略能覆盖多解，但 K=1 时 BC 的均值预测反而更稳。
原理：让标注成为渲染的副产品
模仿学习最贵的标注是「动作」。网上的操作视频无穷多，但没有一个带精确 3D 手部轨迹，所以它们只能用来学表征，不能用来学控制。
XR 头显的巧处在于：它本来就必须为了渲染而实时追踪你的手。于是标注的边际成本是零——你不需要为采集多花一分钟，只需要戴着头显干你本来要干的事。这就是「被动可扩展」的含义。
这条路径真正的赌注是「人手是各种机器人的共同本体」。EgoDex 自己也承认 embodiment gap：数据更适合作预训练与动作先验，不能直接等同于可部署的机器人示范。真正缺的那一环是重定向（retargeting）。
优势
采集不额外耗时；标注原生精确到关节；任务面极广（系鞋带到叠衣服）；规模和多样性都是同类第一。
局限
需要 Vision Pro（约 3 万元）；只放了数据与样例工具，完整训练代码与权重未发布；人手 ≠ 机器人手，不能直接部署。
谁能用
有头显的开发者；做手部轨迹预测、动作识别、可供性学习的视觉研究者；做重定向的研究者。
参与方式你能贡献什么
- ZERO COST下载子集做手轨迹预训练，或在它的基准上跑自己的模型——它已经给了明确的指标定义。
- LIGHT有 Vision Pro 就按官方流程录自己的家务场景，格式对齐后并入数据集。
- HEAVY做重定向：把手部 48 维动作映射到你家机械臂的夹爪上并公开成功率。这是这份数据最大的空白。
GROUP B
真机遥操作：贵，但是唯一真实的动力学
05
LeRobot
Hugging Face · v0.6 · github.com/huggingface/lerobot
Apache 2.0SO-101 约 $230五条命令全流程社区数据集
它不是最强的模型库，而是目前唯一一条「校准 → 遥操 → 录制 → 训练 → 部署」用五条命令走完的路。想入门，从这里开始不会错。
- 硬件
- SO-101 主从臂（$199—500）
- 数据
- MP4 视频 + Parquet 状态/动作
- 策略
- ACT · Diffusion · SmolVLA · π0.5 · MolmoAct2
- 体量
- 30 条演示约几百 MB
- 许可
- Apache 2.0
技术框架
- 校准：
lerobot-calibrate 记录每个关节的极限，写入 ~/.cache/lerobot/calibration/，之后靠 --robot.id 找回，所以这个 id 要全程一致。
- 录制：
lerobot-record 同时写三路——相机视频、关节状态、你的遥操动作，按时间戳逐帧对齐。
- 快捷键即编辑器：→ 保存并进入下一条、← 作废重录、ESC 结束编码并上传 Hub。这条交互设计比任何标注工具都实用。
- 训练与部署：换策略只改一个参数
--policy.type=；lerobot-rollout 部署；lerobot-eval --env.type=robotwin 接仿真评测。
- 生态：IPEC-COMMUNITY 把 Open X-Embodiment 大部分内容转成 LeRobot 格式重发布，DROID 版 392 GB、9.2 万个片段。
原理：把数据格式做成产品
机器人学习的复现难，一半难在「每家的 HDF5 字段名都不一样」。当格式统一成「MP4 + Parquet + 一份 meta/info.json」，数据集就变成了可以像模型权重一样被 fork、被混训、被引用的对象——这才有了后来的社区数据池。
SO-101 的意义同理：把一个可复现的硬件基线压到 200 美元档，让「同样的机器、同样的格式」成为可能。DROID 用 30 万元的 Franka 证明协议标准化有价值，LeRobot 用 1600 元的臂证明这件事可以下放到个人。
# 1 校准 → 2 遥操 → 3 录制（自动上传 Hub）
lerobot-calibrate --robot.type=so101_follower --robot.port=/dev/ttyACM0 --robot.id=my_arm
lerobot-teleoperate --robot.type=so101_follower --teleop.type=so101_leader --display_data=true
lerobot-record --robot.type=so101_follower --teleop.type=so101_leader \
--dataset.repo_id=${HF_USER}/so101_grasp --dataset.num_episodes=30 \
--dataset.single_task="pick the red cube into the bowl"
# 4 训练（换策略只改 policy.type）→ 5 部署
lerobot-train --dataset.repo_id=${HF_USER}/so101_grasp --policy.type=act --steps=20000
lerobot-rollout --policy.path=${HF_USER}/policy_test
优势
全流程、文档好、社区大；CUDA / Apple MPS / CPU 都能跑；30 条演示就能训出可用的单任务抓取策略。
局限
ACT 单任务稳定但泛化弱；SO-101 精度有限，做不了精细装配；数据质量完全靠采集者自觉。
谁能用
所有人。这是「第一次采数据」的标准答案，也是唯一有完整中文教程与现成硬件套件的入口。
参与方式你能贡献什么
- ZERO COST不买硬件，直接下
lerobot/droid_100（2 GB / 100 条）跑训练，先把管线跑通。
- LIGHT一套 SO-101（≈1,600 元）+ 两个摄像头，采 30—50 条，训 ACT，把数据集和策略卡一起发到 Hub。
- HEAVY做格式转换贡献：把还没人转的数据集（新手势、新本体）转成 LeRobot v3 并提交，这是社区最缺的体力活。
06
DROID
Stanford / Berkeley 等 13 家实验室 · 50 名采集员 · 三大洲 · 持续更新
CC BY 4.0 可商用7.6 万轨迹350 h564 场景
它是「分布式采集」这件事的教科书：把硬件、软件、标注三层全部标准化，才让 13 个实验室的数据能拼成同一个分布。
- 规模
- 7.6—8.7 万条 / 350 h
- 覆盖
- 564 场景 / 86 任务
- 硬件
- Franka + Robotiq 2F-85 + 双目 ZED
- 遥操
- Meta Quest 2 · 15 Hz
- 许可
- CC BY 4.0
技术框架
- 统一采集协议：同一型号机械臂、同一套立体相机布置（两个可调 ZED 2 + 腕部 ZED Mini）、同一个遥操作界面（Quest 2 控制器）、同一套 Polymetis 记录栈。
- 双空间记录：关节空间与末端执行器空间同时以 15 Hz 记录，下游可以按需取用，不必重采。
- 语言标注后期补：采集时不写指令，统一由外部服务补标，保证措辞分布一致——这一步常被忽略，但它决定了语言条件的质量。
- 社区重发布：
IPEC-COMMUNITY/droid_lerobot 转成 LeRobot 格式：92,233 片段、2,704 万帧、15 fps、三段 180×320 AV1、392 GB；另有 2 GB 的 100 条调试样本。
- 协同训练结论：与域内演示按 50/50 混合，分布内成功率比次优方法高 22 个百分点，分布外高 17 个百分点。
原理：数据集的价值取决于分布是否同质
13 个实验室如果不统一硬件和协议，拼起来只是 13 个互不相容的小数据集；统一之后，564 个真实场景才构成一个真正多样的分布。
这条经验后来被几乎所有采集项目抄走。所以你会看到智元强调「统一 G2 平台」、Grabette 强调「同一套 BOM」、RoboTwin 强调「统一评测协议」——大家都在解决同一个问题：怎么让不同人采的数据能相加。
但请注意许可差异：DROID 单一 CC BY 4.0，可商用；Open X-Embodiment 是 60 个数据集的合集，各子集保留原始条款，其中若干非商用。「OXE 的许可」在法律上并不存在。
优势
真实场景多样性最高；许可干净可商用；管线成熟；有官方小样本可先验证；跨机构异构性本身就是泛化来源。
局限
只有 Franka 一种本体；聚焦桌面操作；全量 392 GB 且需自行解码；各机构演示质量参差。
谁能用
有 Franka 的实验室复刻协议；没有的话，把它当「采集协议范本」读——单人复刻成本在 30 万元级，不划算。
参与方式你能贡献什么
- ZERO COST下 100 条调试样本跑通你的训练管线，再决定要不要拉全量。
- LIGHT复刻协议在自己的机械臂上采一个「DROID 风格」子集并公开，标明偏离项。
- HEAVY参与社区做标注修订、相机标定修正、格式转换——DROID 这类长周期数据集最缺维护者。
07
AGIBOT WORLD 2026
智元机器人 · 2026 分期发布 · huggingface.co/datasets/agibot-world
CC BY-NC-SA · 非商用含失败轨迹1:1 数字孪生五期主题
它是第一个把「失败」当作一等公民的开源数据集：抓空、滑落、碰撞、液体飞溅都保留并标注。对世界模型来说，这些才是理解物理的入口。
- 平台
- G2（WBC + 灵巧手 + 触觉）
- 模态
- RGB(D) · 触觉 · LiDAR · IMU · 全身关节
- 存量
- 100 台机器人 / 100+ 场景 / 100 万+ 轨迹
- 2026 分期
- T1 模仿 · T2 多样交互 · T3 已发
- 许可
- CC BY-NC-SA 4.0
技术框架
- 自由式采集：遥操员不按脚本演，而是按实时情况临场决定动作顺序。单条 episode 内部的动作分布因此显著更宽。
- 三个硬件能力：全身控制 WBC（臂/腰/手协同，而不是各动各的）、第一人称超视距遥操（操作员看到的就是机器人看到的）、力控采集（记录接触动力学而不只是位置轨迹）。
- 分层标注：任务级描述 → 动作序列 → 原子技能标签（拉、放）→ 物体 2D 框与属性；错误恢复轨迹单独保留并标注。
- 孪生仿真：每个真实场景在仿真里 1:1 复刻，合成数据随真实数据一同发布，可直接做 sim+real 混训。
- Theme 2 / 3：前者专门收「非理想交互」（失败、碰撞、形变、飞溅）；后者同时发布成功与失败 rollout（约 1,024 成功 / 1,369 失败）。
原理：只训成功态，模型学不会世界怎么拒绝你
只训成功示范的模型会拟合「成功态」。遇到少见动作、复杂接触、非理想情况时，它无法预测世界会怎么演化，生成的世界模型也会产出不符合物理规律的结果。
智元用自家 Genie Envisioner 做了对照：加入更丰富的动作分布与失败结果后，动作条件世界模型对「动作如何改变世界」的预测物理一致性提升。换句话说，失败数据既是负样本，也是世界模型的监督信号。
这也是 2026 年数据观的分水岭：从「教机器人怎么完成任务」转向「教机器人理解真实世界如何回应动作」。
优势
工业级真实度；含失败与纠错，世界模型研究价值高；多模态齐全；有孪生仿真；配套挑战赛提供统一评测。
局限
许可非商用（CC BY-NC-SA 4.0），商业训练需另谈；单任务包数十 GB，下载门槛高；绑定自家本体，跨形态要靠重定向。
谁能用
做世界模型、物理感知、表征学习的研究者；参加 AgiBotWorldChallenge 的队伍；需要「失败样本」做鲁棒性的团队。
参与方式你能贡献什么
- ZERO COST下 Theme 1 做模仿学习预训练，下 Theme 2 做世界模型——两者用途完全不同，别混。
- LIGHT报名挑战赛，用统一评测协议提交，你的失败案例也会变成社区的公共知识。
- HEAVY企业走付费定制采集（同等级质量），或用自己的场景数据做补充并开放——这是最快获得「别人没有的分布」的方式。
GROUP C
仿真合成：只烧显卡，不买夹爪
08
RoboTwin 2.0
港大 / 上交 / 上海 AI Lab · ICML 2026 · github.com/Robotwin-Platform/RoboTwin
Apache 2.010 万+ 轨迹50 双臂任务SAPIEN
没硬件的人最该先跑它：十万条预采轨迹已经在 Hugging Face 上，79.6 GB，Apache 2.0，解压就能训。
- 引擎
- SAPIEN
- 任务
- 50 个双臂任务 × 5 种本体
- 资产
- 731 物体 / 147 类（含语义标注）
- 数据
- 100k+ 轨迹 · 79.6 GB
- 许可
- Apache 2.0
技术框架
- 任务代码自动生成：MLLM 写任务级执行代码 → 在仿真里真跑一遍 → 失败就把报错回灌给模型改，形成闭环自纠正（代码生成成功率 +10.9%）。
- 五轴域随机化：杂物堆叠、光照、背景纹理、桌面高度、语言指令措辞。这是 sim2real 能成立的主因。
- 多本体：同一任务在 5 种双臂平台上生成，天然产出跨本体数据，不用另外做重定向。
- 统一评测：走 XPolicyLab（
--env.type=robotwin），支持单任务、多卡调度、远程策略服务器 + 本地仿真。
- 一个必须知道的坑：图像位有 legacy 与 standard 两种编码，必须经
decode_image_bit 解码。自己写 cv2 解码会在 legacy 数据上红蓝互换——看不出错，但训出来的模型是错的。
原理：合成数据的杠杆不是算得快，是能长样本
仿真数据的瓶颈从来不是物理引擎，是「谁来写任务」。50 个双臂任务如果靠人工写脚本，成本不比真机低。
用 MLLM 生成 + 仿真在环自纠正，把每个任务的边际成本压到接近零。再叠加五轴随机化，同一段代码就能产出上百个视觉 / 语言变体。
这才是合成数据真正的杠杆：同一份逻辑能长出无穷多个样本。而它的天花板也很清楚——SAPIEN 的接触模型是近似的，越是接触丰富的任务，sim2real 差距越大。
优势
免费且可商用；数据量大；支持跨本体；有公开榜单可对标；自采只需改配置。
局限
物理近似；接触丰富任务差距大；任务由脚本限定，长尾覆盖有限；需要 NVIDIA GPU 且安装约 20 分钟。
谁能用
没有硬件的学生与个人；要做预训练底座的团队；要统一评测自家策略的实验室。
参与方式你能贡献什么
- ZERO COST
scripts/download_xpolicylab_data.sh 拉数据，直接训；一分钱硬件不花。
- LIGHT改配置采自己行业的任务（仓储、餐饮、装配），把生成脚本开源。
- HEAVY写 XPolicyLab 策略适配器提交上榜，或补一个「接触丰富度 vs sim2real 衰减」的系统性测量。
09
Genie Sim 3.0
智元 · 2026 · 开源仿真平台（含资产库与榜单）
语言生成场景VR 遥操采数200 任务 / 10 万场景5,140 资产
它把「造一个仿真场景」从几天变成一句话：说一句「台面杂乱、左边有冰箱的小厨房」，四段流水线就吐出带碰撞体的 USD 场景。
- 资产库
- 5,140 物体 / 353 类
- 基准
- 200 任务 × 6 技能 → 10 万+ 变体
- 数据
- 1 万+ 小时合成（HDF5 / ROS bag）
- 榜单
- Instruction · Robust · Manipulation · Spatial
- 采集
- PICO VR 遥操 + cuRobo 自动规划
技术框架
- 生成路径：自然语言 → 意图解析 → 语义资产检索（5,140 库）→ DSL 代码生成布局 → USD 装配；支持多轮对话改场景（「把冰箱挪到另一面墙」）。
- 重建路径：真实房间 LiDAR + 相机 → 3DGS + Difix3D+ 视角外推 → PGSR 网格 → 带碰撞的 USD。要你真实的实验室进仿真，走这条。
- 采数两条腿：PICO VR 遥操（人在环，全身动捕重定向到仿真机器人）+ cuRobo GPU 规划自动生成（无人值守，抓取失败自动回滚重试）。
- 评测：200 任务由 6 个原子技能（抓/放/拉/推/开/关）扩成 10 万+ 变体，按指令理解、鲁棒、操作、空间四榜报告。
- Sim2Real 验证：1,500 条合成 episode 训出的策略零样本追平真机数据基线；仿真实测成功率相关性 R² ≈ 0.924、斜率 ≈ 1.045。
原理：让「环境」成为扩展单位
如果场景能被语言生成，训练数据的增长速度就不再受物理世界限制，而是受 GPU 数量限制。这是「环境即数据」的核心赌注。
VR 遥操 + 自动规划的组合则解决了「合成的动作从哪来」：一部分靠人演，一部分靠规划器穷举。后者可以 24 小时不停，而且失败不心疼——在仿真里摔坏一个杯子，成本是零。
但要给这组数字加上正确的权重：四个任务的验证集偏窄，且不包含接触丰富的灵巧操作——恰恰是 sim2real 最容易崩的地方。R²=0.924 说明方向对，不代表普适。
优势
零硬件产数据；场景多样且可对话修改；有统一榜单；与真实数据 1:1 对齐，可混训；资产带碰撞与质量属性，能直接做物理训练。
局限
sim2real 数字来自厂商自评且任务面窄；场景生成仍需人工验收；依赖自家资产库与本体；商业条款需单独确认。
谁能用
想用 VR 头显采数的人（成本是算力，不是夹爪）；要把自己行业场景搬进仿真的团队；要刷榜验证策略的实验室。
参与方式你能贡献什么
- ZERO COST用语言生成一个自己熟悉的场景（你老家的厨房、你上班的仓库），跑一遍基准，看模型在你熟的地方有多笨。
- LIGHT用 PICO 头显在仿真里采 100—500 条，合成数据可直接和真机数据混训。
- HEAVY把真实场地做 3DGS 重建进仿真，公开这套「场地数字化」流程——这是所有行业落地的第一道工序。
GROUP D
人类示教的规模化池子：别人已经采了一万小时
10
HyVLA-0.5 / Hy-UMI-10K
腾讯 Robotics X + 福田实验室 + 混元 · 2026-06-15 · github.com/Tencent-Hunyuan/Hy-Embodied-0.5-VLA
1 万小时100 万 episode亚毫米纯人类示教 · 不用遥操作
它用一个反直觉的结果证明了人类示教路线的价值：完全不用目标机器人的遥操作数据，只靠指套 UMI 采的人类示教，就能把策略部署到形态不同的真机上。
- 数据
- 10,000+ h / 100 万+ episode / 70 类
- 开放
- 其中 2,000 小时
- 采集
- 指套式 UMI + 外部光学动捕
- 精度
- 亚毫米 6-DoF，部分夹爪带力/力矩
- 成绩
- RoboTwin 2.0 · Clean 90.9% / Rand 90.1%
技术框架
- 采集端：指套式夹爪（人戴着做，不是握着）+ 外部光学动捕，规避单目 SLAM 的位姿抖动与跟踪中断；部分型号集成指尖力/力矩传感。
- 模型：双塔结构——视觉语言理解塔 + 流匹配动作专家塔，共享注意力交互，把语义理解和连续控制解耦。
- 轻量记忆编码器：把多帧多视角历史压成紧凑表示，不增加视觉 token 就能获得短时记忆，且不引入新的可学习参数。
- 增量式动作块：预测相对末端的位姿增量而非绝对关节角，降低对具体运动学的依赖——这是跨本体能成立的前提。
- 四段训练：Hy-UMI-10K 持续预训练 → SFT（Track-A 同本体 / Track-B 纯 UMI 跨本体）→ FlowPRO 强化后训练 → 异步推理 + 三次贝塞尔轨迹拼接。
原理：一次解掉「数据贵」和「绑定本体」两个问题
遥操作数据贵，而且绑定本体；人类示教便宜、天然跨本体，但缺精度和力反馈。指套 + 光捕 + 指尖力传感的组合，正好补上这两块短板。
剩下的差距用 FlowPRO 补：机器人出错时人介入回滚，把「错的那条」和「对的那条」配成偏好对，直接优化策略。失败数据从垃圾变成了燃料——这是 2026 年最值得抄的一个工程思路。
实操意义在于：它把「我没有人形机器人，但我有过得去的采集设备」这条路走通了。Track-B 的设定就是——只用 UMI 数据微调，不采目标机器人遥操作，然后直接部署。
优势
纯人类示教即可跨本体；亚毫米精度；权重、代码、数据一起开源；含强化后训练闭环；已在四个真机平台验证。
局限
只开放 2,000 小时子集；光捕设备个人难以复刻；任务分布偏家务（洗衣、厨房、收纳占近七成）；FlowPRO 依赖人在环干预。
谁能用
有 UMI 类设备但没机器人的团队；要验证「人类示教能否替代遥操作」的研究者；做跨本体迁移的工程师。
参与方式你能贡献什么
- ZERO COST下 2,000 小时子集做预训练，或直接拿它的 Track-B 协议当自己数据的评测标准。
- LIGHT用你家 UMI 设备补采它缺的场景（工业、户外、非家务），格式对齐后并入。
- HEAVY复刻 FlowPRO 的「干预-回滚-成对偏好」流程做后训练，尤其是把它用到非家务任务上。
这 1 万小时都花在哪了：Hy-UMI-10K 的场景分布
按场景族 · 占总时长比例
洗衣房织物折叠、整理28.5%
厨房器皿、食材、台面19.2%
个人护理及其他13.8%
灵巧 / 工具使用10.4%
收纳整理10.0%
清洁擦拭、刷洗5.7%
其他 / 杂项12.4%
前两项（洗衣 + 厨房）合计近一半。这不是因为机器人只需要干家务，而是因为「愿意戴着设备反复做、且做得好」的场景就在家里。
公开数据集的量级对比：为什么说差两三个数量级
单位：小时 · 对数直觉
Hy-UMI-10K 腾讯（含未开放）10,000 h
Hy-UMI-10K 开放子集2,000 h
EgoDex Apple829 h
DROID 13 家实验室350 h
行业需求估算 达到 GPT-3.5 级1 亿 h
最后一行画不出来——它是前者的 10,000 倍。这正是「众包 / 无本体采集 / 仿真」三条路线必须同时存在的理由：单靠任何一条，都补不上这个缺口。