GigaBrain-0.7 Scaling Embodied Foundation Models to Emergent Capabilities
with a Three-System Architecture

01 / POSITIONING它到底是什么，以及不是什么

GigaBrain-0.7 是极佳视界（GigaAI）在 2026 年 8 月发布的开源具身基础模型。技术上它是 VLA（Vision-Language-Action），但它真正的主张不在 VLA 本身，而在把「理解、预测、行动」拆成三个可独立训练、只在接口处交换结构化信号的子系统。论文标题里的 "Scaling ... to Emergent Capabilities" 是方法论宣言：不是把单个网络做大，而是把异构经验做宽，让能力自己长出来。

一句话讲清三个系统

它不是哪些东西

关键日期

02 / LINEAGE背景：这家公司先做了三年「预测」

理解 GigaBrain-0.7 的关键，是知道它的 System 3 不是临时拼上去的模块，而是极佳视界从自动驾驶世界模型一路做下来的主线产品。他们的论文序列有一条清晰的迁移路径：先在驾驶场景学「世界怎么演化」，再把这套能力搬到机器人操作，最后把它改造成能给动作打分的价值函数。

2.1 从 DriveDreamer 到 System 3

2.2 论文与依赖清单

2.3 三代 VLA 架构，0.7 选了第三条

论文把现有 VLA 分成三族，这个分类本身很有用，因为它说明了每种选择的失效模式：

0.7 选 MoT 不是跟风。第 6.2 节有一张直接对照的表：把耦合方式换成「最后一层交叉注意力」，推理延迟从 0.221 s 降到 0.073 s（快 3 倍），但叠衣任务成功率从 30% 掉到 0%，清洁桌面从 50% 掉到 20%。他们用 3 倍延迟换了 30 个百分点的柔物体成功率——这是一个明确的价值判断：机器人不缺那 150 毫秒，缺的是把布叠起来的能力。

03 / DESIGN设计原理：三个系统，一条流水线

三系统架构经常被画成三个方块加箭头，但真正决定它能不能work的是接口里传什么。0.7 的接口设计有三条硬规则：

1. 每个系统保留自己的损失函数。不把理解、预测、动作揉进一个目标。System 2 用 NTP 学语言与推理，System 1 用 NTP + flow matching，System 3 用视频预测 + 价值回归。揉在一起会让梯度互相拉扯。
2. 接口只传结构化信号，不传隐向量。System 2 传文本（思维链 + 子任务），System 3 传一张图和 0/1。这样每个系统可以独立替换、独立调试。
3. 信号以「条件」形式注入，而不是以「决策」形式接管。System 3 不直接改动作，只把条件塞进 System 1 的 prompt。策略仍是端到端可微的。

3.1 双金字塔：数据五层，算法三层

「双金字塔」是官方对整套方法的概括。但论文里有一句话很关键：五层数据与三层算法不是一一对应，而是按用途归位。这决定了这套框架不能被简化成「数据越多越好」。

3.2 两个反直觉的设计决定

决定一：一阶段联合训练，而不是「先学语义再学动作」

π_0.5、Xiaomi-Robotics-0 这些模型用分阶段配方：先训视觉语言，再单独训连续动作。0.7 反过来，从预训练第一步起，NTP 与 flow matching 两个目标就在同一个批次里联合优化。论文的说法是消除「优化碎片化」（optimization fragmentation）。

风险很明确：动作梯度会把 VLM 的语义能力冲掉。他们的解法是 Soft KI——不是像原版 Knowledge Insulation 那样完全阻断，而是给动作梯度乘一个衰减系数 α（0 < α < 1）：

# 视觉语言主干的梯度 = 语言监督 + α × 动作监督
∇θ_VL L_VLA = ∇θ_VL L_NTP + α_KI · ∇θ_VL L_FM

这个改动很小，但它把「隔离」变成了「可调耦合」。α 趋近 0 就退化成冻结主干，趋近 1 就退化成完全联合。一条连续旋钮代替了一个二元架构选择——这是这篇论文里工程味道最重、也最容易被复用的一个点。

决定二：优势信号是二值的，不是连续的

System 3 输出的是连续的价值 V_t，但注入 System 1 的却是 0/1：

A_t = 1[ V(t+δ) − V(t) > 0 ] ∈ {0, 1}

为什么丢掉连续信息？因为它要变成一个 token 塞进 prompt。连续值没法当词用；离散成「在进步 / 没进步」正好对应语言模型熟悉的二选一。训练时它天然区分「有效尝试」与「无效尝试」，推理时把条件固定为「正进展」，等于给动作生成一个方向偏置。

3.3 条件丢弃：防止策略「作弊」

如果训练时永远给 subgoal 图和优势条件，策略会学会「等答案」——反正有人告诉它未来长什么样。部署时这两个信号来自冻结的 System 3，一旦分布漂移，策略就崩。

0.7 的做法是独立随机丢弃：subgoal 图 50%，优势条件 15%。于是模型见过四种情况——都没有、只有图、只有值、两者都有。这带来两个副作用，都是好的：一是策略在缺失条件下仍能工作；二是消融实验可以复用同一份权重，不用重训四个模型。

04 / ARCHITECTURE架构拆解：四个真正起作用的细节

三系统是叙事层，真正决定性能的是四个实现细节：双流怎么耦合、历史怎么压缩、动作怎么表示、本体怎么路由。这四个地方，恰恰是复现时最容易做错的地方。

4.1 MoT 双流：一条因果，一条双向

System 1 里有两条 Transformer 流：视觉语言流（VL）和动作专家流（AE）。它们共享同一套注意力计算，但 FFN 参数各自独立。区别在注意力掩码：

# VL 流：对自己做因果自注意力，保住预训练的自回归接口
O_VL = CausalAttn(H_VL ; H_VL)

# AE 流：对「VL + AE 拼接」做双向注意力，能看到全部语义上下文
O_AE = Attn(H_AE ; [H_VL, H_AE])

H_VL ← FFN_VL(O_VL)      H_AE ← FFN_AE(O_AE)

这个非对称设计解决了一个具体矛盾：动作专家需要「看全」才能对齐语义，但如果让动作 token 反向污染 VL 的因果注意力，预训练学到的语言能力会被破坏。解法是让 AE 只读不写——它能看见 VL，VL 看不见它。

对比实验很能说明问题。同样用 PaliGemma2 主干，只改耦合方式：

把这张表读透，能得到一个和主流叙事相反的结论：在柔物体任务上，「轻量解耦」不是效率优化，而是能力阉割。叠衣成功率 30% 对 0%，不是精度差异，是有没有这个能力。而在刚体抓取上，解耦方案只是打折（88% → 40%），还留着底子。这解释了为什么很多团队复现 π₀ 系在方块任务上能到 80%，一换布料就归零。

4.2 时序上下文：看过历史，但不带着历史

长程任务里有一类特殊失败：视觉上几乎相同的两个画面，处在任务的不同阶段。叠衣服的抓取、铺平、对折，画面都可以是「一件皱着的 T 恤」；装配的第三次插入尝试和第一次尝试，画面也几乎一样。单帧策略会把「看起来一样」当成「状态一样」，于是重复同一个动作，卡死循环。

直觉解法是把历史帧拼进去，但这样上下文长度会随帧数线性增长，推理成本直接翻几倍。0.7 的做法是 Temporal-Spatial Block，插在视觉编码器里：

• 先时间、后空间。时间算子对最近若干帧做因果聚合，让当前表示知道「任务相关区域随时间怎么变」；空间算子再在当前帧内部建模区域间关系，把时序增强后的特征整合成连贯场景。
• 融合完就丢。历史 token 不转发给主干，处理完即丢弃，只保留被增强的当前帧 token。
• 结果：进入 VLA 的视觉 token 数量与单帧设置相当，拿到了时间上下文，却没付上下文变长的代价。

4.3 动作表示：一套数据，两条通路

System 1 同时有两条动作通路，用途完全不同：

两条通路的损失始终同时优化（L = L_NTP + L_FM），但梯度进入 VLM 主干时，动作那一半被 α 衰减。这个「双通路 + 单衰减」的组合，是 0.7 与 π_0.5 的「混合离散-连续监督」最实质的差别：后者把两者当监督信号混合，前者把两者当不同职责——一个管语义对齐，一个管物理执行。

4.4 跨本体路由：8 个 ID 与 32 维统一空间

16 个本体的自由度从 6 到 22 不等，相机数量、命名、频率都不同。0.7 用两层机制抹平差异：

1. 统一状态-动作表示。维度顺序固定为 左臂 → 右臂 → 头 → 腰 → 底盘/腿，关节空间与末端空间字段都保留，缺失的分量用 mask 或占位维补齐。动作空间统一到 32 维，实际只监督其中有效的那几维。
2. Embodiment ID 路由。8 个 ID 各自对应一组 state / action 投影。训练时从 LeRobot 数据集的 robot_type 元数据自动解析，不需要手写映射。

4.5 开源配置里的真实超参

有两点容易被忽略，但会直接决定你复现的结果：

• 训练用 fp32 而不是 bf16（配置里 mixed_precision="no"）。这对显存要求比常见 VLA 配方高一截；想省显存改 bf16，要重新验证 loss 曲线。
• 后训练默认关掉两条通路中的一条。两份主线配置里 enable_next_token_prediction=False、enable_knowledge_insulation=False——也就是说，后训练阶段只跑 flow matching，离散动作通路与 Soft KI 只在预训练生效。想在自己的数据上同时训两条通路，得手动打开。
• delta 动作是逐维开开关的。16 维的 AgileX mask 里第 6、13、14、15 位是 False——意思是这几维（夹爪等）走绝对量，不走增量。mask 写错，训练 loss 照样下降，但真机上夹爪会一直不动。

05 / DATA数据规格：37,257 小时是怎么拼出来的

先把最容易记错的数字说清楚：37,256.98 小时是五类数据的合计，其中真机只占 55%。剩下 45% 是人（UMI + EGO）、生成与仿真。这个比例本身就是论文的论点——纯真机堆不到这个量级。

5.1 真机数据：一半以上来自自研本体

5.2 人类数据：8,252 小时 UMI + 2,862 小时 EGO

为什么人数据有用？第 6.3 节的实验给了直接证据：从 3,000 小时真机出发，分别加入等量 UMI、等量 EGO，以及两者组合。任何单一人数据源都优于纯真机；两者组合最好；而且这个提升在后训练之后仍然保留——说明它改变的是预训练先验的质量，不是给了一个即时的性能补贴。

5.3 五步流水线：把 16 种格式变成一种

异构数据最大的成本不在采集，在清洗。0.7 的流水线有五步，每一步都在解决一个具体的失败模式：

清洗的三道闸

1. q01 / q99 极值过滤。按每个本体、每一维分别算 1% 和 99% 分位，剔除区间外的帧与轨迹。原因写得很实在：训练用分位数归一化，极端值会把归一化区间拉宽，正常动作被压进一个很窄的范围，优化直接不稳。
2. 静止段剔除。算相邻帧的状态差，每维按关节活动范围归一化后取 L2 模长；低于阈值判为静止帧，连续静止帧合并成段后整段删。这一条能把「机器人在那等着」的时间挤掉。
3. 末端位姿一致性校正。对每个本体收集 URDF，对齐基座坐标系，手工配置末端参考点，把各本体的末端位姿定义统一。这一步不做，跨本体的末端空间监督就是错的——而且错得没有报错。

还有第四道更少见的闸：用训练 loss 反查脏数据。预训练早期记录样本级与数据源级的 loss 分布，某条轨迹持续异常高或出现尖峰，就回溯到原视频、动作序列与语言标注，检查是不是时间错位。这是个很聪明的做法——把「模型学不好」变成「数据有问题」的探测器。

06 / EVIDENCE实验：六张表，一个好问题和三个反常

论文的实验结构值得先说明，因为它本身就是一个判断：先做架构与数据的控制变量实验，再做真机后训练对比，最后上公开榜。前者回答「为什么这么设计」，后者回答「比别人强多少」。很多论文跳过前者，直接摆榜单。

评测设置：两个平台（AgileX PiPER / PiPER-X 双臂，Maker H01 人形），每个配置 10—20 次试验，指标是完整任务成功率；语言跟随任务额外要求「操作的是正确目标」。基线为 π_0.5、GigaBrain-0.1、Xiaomi-Robotics-1、Galaxea G0.5。

6.1 主干不是越大越好

这张表是全文最反直觉的一处。8.5B 的 Gemma 4 在清洁桌面上拿到 100%、水果抓取 92%，看起来全面碾压；但叠衣是 0%。而 3.5B 的 PaliGemma2 是 50 / 88 / 30。

怎么解释？三个可能，论文没给结论，我给三个可检验的猜测：

• 图像分辨率与 patch 划分。PaliGemma2 在 224 上有更成熟的视觉 token 配置；更大主干可能对细粒度形变不敏感。
• 动作专家的容量匹配。三个主干都配同一个 0.5B Action Expert。8.5B 的语义空间需要更大的动作头才能对齐，固定 0.5B 时可能出现「想法太多、手跟不上」。
• 预训练分布的柔物体覆盖。叠衣是唯一涉及大幅形变的柔性物体任务，它对视觉表征的连续性要求最高，而这恰好是不同 VLM 差异最大的地方。

6.2 数据缩放：两个任务的曲线形状不同

架构固定，只加数据。三个观察：

• 验证 loss 单调下降，不同数据规模之间的间隔在整个训练过程中始终可见——说明还没到饱和。
• 水果操作平滑改善，叠衣呈陡峭的阈值型改善。论文的解释是后者需要「与可形变物体的持续交互」和「更宽的中间状态覆盖」，对预训练分布的覆盖度要求高得多。
• 人数据提供的是先验质量，不是即时增益——提升在后训练之后依然存在。

第二点比第一点重要。它意味着「加数据」的收益是任务相关的：对刚体抓取，1 万小时可能就够；对布料，可能要 3 万小时才跨过阈值。这解释了为什么很多团队在自采 500 小时后觉得「模型没反应」——不是方法错，是还没到那个任务的阈值。

6.3 真机后训练：PiPER 上是 +2.7，H01 上是 +9.0

多任务语言跟随（6 个任务，考察颜色 / 目标 / 方向三种指令区分能力）：

单任务复杂操作（每任务单独后训练，考察分拣、可形变物、餐具摆放、收纳、清扫、食品加热、洗碗）：

两处细节值得单独看：

• 「清扫米饭」（Rice Sweeping）是所有模型的短板。0.7 在 PiPER 上是 40%，π_0.5 是 20%，G0.5 是 0%。扫米需要持续接触、感知堆积、调整角度——是所有任务里唯一强依赖力反馈的，而这份数据里没有力/力矩真值。
• H01 上「洗碗」0.7 是 100%，π_0.5 是 40%。但 H01 本体占训练帧数 43.82%，这个差距里有多少是模型能力、多少是数据同源，无法从论文拆开。

6.4 System 3 消融：成功率饱和之后，它还在起作用

这是全文最有信息量的实验，因为它在成功率已经 100% 的任务上仍然做出了区分。四个配置：Base（无 System 3）、+SubImage（只给未来图）、+Value（只给优势）、+两者。

另一个容易忽略的对比：0.7 的未来预测时间跨度超过了动作块长度。论文明确说这比 GigaBrain-0.5M* 更长的预测视界提升了复杂任务成功率。直觉上这也合理——如果只预测 50 步（约 1.7 秒 @30Hz），得到的「未来图」几乎等于当前帧，起不到 subgoal 的作用。

6.5 公开榜：四个第一，与一处必须解释的异常

这张图里有两件事需要分开说，因为它们的含义相反：

好事：域随机化几乎不掉分

π_0.5 从 70.7 掉到 46.0（−24.7），X-WAM 从 70.0 掉到 25.8（−44.2），而 0.7 从 66.8 到 67.9（+1.1）。这说明它对光照、材质、相机位姿、桌面杂乱这些扰动有很强的鲁棒性——这正好呼应 System 3 与数据金字塔里的生成数据：训练分布本身就被刻意拓宽了。

坏事：Easy 上它不是第一

干净场景 66.8 低于 π_0.5 的 70.7，也低于 X-WAM 的 70.0。如果只看「Overall 67.35 排名第一」，会掩盖这个事实：它的优势来自鲁棒性，不来自干净场景的绝对精度。

6.6 其余三组数字

EBench 的 +5.2 pp 需要打个星号：论文没有给出各模型在该榜上的试验次数。如果按每任务 100 次估算，5.2 个百分点的 95% 置信区间约 ±13 pp——这个差距单独看并不显著。它只有在与其他三张表同向时才构成证据。

6.7 经验强化：从 20% 到 100% 的四条曲线

四个任务全部到 100%，这个数字要谨慎读：它说明「人在环在线 RL + 正确奖励」可以把困难任务推到接近上限，但也说明这些任务在人工干预下是可解的——不是模型自主突破。论文没有报告干预频率，这是复现时最需要补的信息。

更有信息量的是离线 RL 那一步：扎带从 0% 到 40%，轴承从 20% 到 60%。离线阶段的收益集中在「原本会失败」的任务上，对已经 80% 的礼盒只加了 10 个点。这与「离线 RL 主要修正错误模式」的直觉一致。

6.8 离线复现：仓库里那份真实的数字

比起论文里的榜单，仓库 docs/eval_30k_20260818.md 里的两份记录更值得看，因为它是任何人都能重跑的自检：

这两个数字的用途不是「证明模型好」，而是证明你的环境装对了。如果你的 MAE 是 0.3 而不是 0.007，问题一定在归一化统计、delta mask 或相机键，而不是模型。

07 / OPEN SOURCE开源了什么：全套训练栈，不是一堆权重

仓库 open-gigaai/giga-brain-0（Apache 2.0，2,668 star，209 fork，15 个 open issue，创建于 2025-09-26，最后推送 2026-09-09）沿用了 GigaBrain-0 的名字，但内容已经换成了 0.7。它给的不是一份推理 demo，而是完整的训练 + 评测 + 部署工程。

这里有个容易误判的地方：仓库很薄，因为重活都在外部依赖里——giga-datasets（数据）、giga-train（训练器）、giga-models（模型），三者都锁 1.1.0 版本。好处是升级路径清晰；坏处是训练器内部实现你读不到，出问题只能看现象。

7.1 权重清单

7.2 开源了 / 没开源

7.3 装起来要过的五道关

# 1. Python 必须是 3.11.10，不是 3.12
conda create -n gigabrain07 python=3.11.10 -y
conda activate gigabrain07

# 2. 设根目录，后面的 PYTHONPATH 依赖它
export GIGA_BRAIN_ROOT="$PWD"

# 3. 三个独立包，版本必须锁死
python -m pip install -r requirements-paligemma2.txt
python -m pip install "giga-datasets==1.1.0"
python -m pip install "giga-train==1.1.0"
python -m pip install "git+https://github.com/open-gigaai/giga-models.git@1.1.0" --no-deps

# 4. 不设这个，import 直接失败
export PYTHONPATH="$GIGA_BRAIN_ROOT${PYTHONPATH:+:$PYTHONPATH}"

7.4 部署：两段式，不是一个进程

客户端有一套平滑调度参数，约束关系必须满足，否则动作会抖或卡：

# 三个数的关系是硬约束
inference_trigger_remaining < max_action_execute_horizon ≤ chunk_size
# 例：30 < 35 ≤ 50 —— 每块 50 步，剩 30 步时触发下一块推理，最多执行 35 步

这个设计说明一件事：4.1B 的模型不可能在 30 Hz 控制环路里同步推理。实际做法是「块内开环、块间重规划」，用排队与插值把延迟藏起来。distance-thresh 0.5 与 align-search-window 8 就是处理块接缝处位姿跳变的。

08 / PROBLEMS它到底在解决什么问题

把论文动机翻译成工程语言，是五个具体问题。每一个都能对应到架构里的某个零件——这也是判断「这套设计是否必要」的方法：拆掉那个零件，看哪个指标会掉。

8.1 它明确没解决的

09 / TRENDS趋势与局限

9.1 六个趋势

9.2 八条局限，每条都有具体证据

10 / PRACTICE上手路径：三档投入

10.1 零硬件：先读懂，再跑通

不需要机器人也能做的三件事，建议按顺序：

1. 读 configs/gb07_pg2_pick_and_place_piper_30k.py（134 行）。这一个文件就讲清了图像尺寸、相机键、delta mask、归一化、FSDP 配置、动作块长度。比读论文快。
2. 下 SampleData（13.4 GB），跑一遍 compute_norm_stats_fast.py，确认统计量合理（均值接近 0，分位区间不夸张）。统计错是后面一切失败的源头。
3. 用 1 张卡、batch 1、max_steps=10 跑一次 smoke test，看 loss 是否下降。官方参考值是十步内抓放 −51%、按钮 −32%。

10.2 有机器人：后训练的一周

10.3 想接 System 3：先想清楚值不值

如果你想用 subgoal 图与优势条件，需要三步：① 拿到 GigaWorld-1 权重（目前未随 0.7 发布）；② 为每个训练样本预生成 g_t 与 A_t；③ 在配置里打开对应条件并设置丢弃率（0.50 / 0.15）。

第 ① 步就会卡住。这是当前开源状态下一个明确的缺口。可行的替代有两个：用你自己训的视频预测模型出 subgoal 图（不必 5B），或者只走 value 通路（用一个任务进度分类器替代）。论文消融显示 +Value 单独用就在礼盒包装上拿到 60%，是性价比更高的一路。

A / APPENDIX附录

A.1 术语

A.2 命令速查

# 归一化统计（16 维 mask 按你的本体改）
python scripts/compute_norm_stats_fast.py \
  --data-paths /data/lerobot_ds1 /data/lerobot_ds2 \
  --output-path /norm/norm_stats.json \
  --embodiment-id 6 \
  --delta-mask True True True True True True False True True True True True True False False False \
  --sample-rate 1.0 --action-chunk 50 --action-dim 32 --num-workers 64

# 训练
python scripts/train.py --config configs/gb07_pg2_pick_and_place_piper_30k.py

# 开环评测
python scripts/inference/inference_gigabrain07_flow_rollout.py \
  --checkpoint-path /ckpt/model_ema \
  --config-path configs/gb07_pg2_pick_and_place_piper_30k.py \
  --data-path /data/lerobot_ds --output-path /tmp/eval \
  --device cuda:0 --dtype bfloat16 --num-episodes 3 --num-rollouts -1 --no-plot

# 部署（服务端，另起客户端连过来）
CUDA_VISIBLE_DEVICES=0 python scripts/inference/inference_agilex_server_unified.py \
  --model-path /ckpt/model_ema --embodiment-id 6 \
  --robot-type agilex_cobot_magic --original-action-dim 14 \
  --expected-state-dim 14 --host 0.0.0.0 --port 8081

A.3 引用

@article{gigabrainteam2026gigabrain07,
  title  = {GigaBrain-0.7: Scaling Embodied Foundation Models to
            Emergent Capabilities with a Three-System Architecture},
  author = {GigaBrain Team and others},
  journal= {arXiv preprint arXiv:2608.15875},
  year   = {2026},
  eprint = {2608.15875},
  primaryClass = {cs.RO}
}

相关：GigaWorld-1（arXiv:2607.02642）· GigaBrain-0.5M*（RAMP）· GigaBrain-0.1 · GigaBrain-0。代码：github.com/open-gigaai/giga-brain-0；权重：huggingface.co/open-gigaai。