从预测到行动

过去三年，人工智能最重要的变化不是「模型更大了」，而是预测的对象变了：从预测下一个词，到预测下一段时间序列，再到预测下一帧画面与下一个动作。当这三件事开始共享同一套架构、同一类数据管线和同一种评测语言时，通往通用智能体的路才算真正接上。

我们习惯用「大模型」来描述这场技术革命，但这个说法掩盖了一个更有解释力的视角：智能的本质是在不确定性下做条件预测。语言模型预测的是人类符号序列的下一个 token；时序基础模型预测的是传感器与业务指标的下一个数值；世界模型预测的是物理场景的下一帧；而 VLA（视觉—语言—动作）模型预测的是「在这种情况下，我的关节应该走到哪里」。

这四件事在数学上是同一个问题：给定历史与条件，建模未来的分布。它们的差别只在于输出空间（离散词表 / 连续数值 / 像素 / 动作向量）、信噪比（文本高度结构化，传感器数据噪声极大）和错误的代价（说错一句话 vs 撞上一次）。理解了这一点，你就能理解为什么 2025—2026 年的技术热点会呈现出现在这种形状。

三个正在发生的迁移

迁移一：从「语言里有世界」到「世界本身要被建模」。纯文本预训练能让模型学会「杯子会掉下去」这类常识，但学不会摩擦系数、质量分布和接触力。于是 2025 年之后，最贵的算力开始从文本转向视频、仿真与真机轨迹。NVIDIA 的 Cosmos 用两亿段视频片段训练世界基础模型，Meta 的 V-JEPA 2 在超过一百万小时视频上做表征预测，Genesis 与 Newton 把物理引擎本身做成了可微、可并行的 GPU 程序。这不再是「多模态」，而是「物理 grounding」。

迁移二：从「开环预测」到「闭环决策」。传统时序预测的交付物是一张未来曲线图；今天的交付物是「让系统在预测的基础上直接动作」。这正是「预测」与「行动」两个词被放进同一个书名里的原因：预测精度的边际收益，在闭环里会被误差累积与分布漂移重新定价。V-JEPA 2-AC 的对照实验很说明问题——同一个机械臂任务，反应式策略（Octo）成功率 15%，而先在世界模型里规划再执行的路线达到 65%—80%。差别不在感知，而在「先想后做」。

迁移三：从「刷榜」到「可复现的评测基础设施」。2026 年最有价值的工作之一，不是又一个新模型，而是把评测本身工程化：GIFT-Eval 用 97 组任务配置统一零样本预测的口径；RoboChallenge 用真机 30 个桌面任务把 VLA 拉回物理世界；RoboArena、RoboColiseum 用分布式的真机/高保真仿真做「盲评」。原因很朴素——当所有模型都宣称 SOTA 时，唯一稀缺的是可信的尺子。

时间序列为什么突然变得重要

在所有数据类型里，时间序列是最被低估的一类。企业的核心业务数据——销量、库存、电价、流量、良率、心率——本质上都是带时间戳的序列；工业与科学场景里，传感器每秒产生的数据量远超文本。但长期以来，这块地盘被「一个数据集训一个模型」的范式统治：ARIMA、Prophet、LightGBM、PatchTST，每个业务线各自调参，模型无法迁移。

时序基础模型（Time Series Foundation Model, TSFM）改变了这个成本结构：一次预训练，零样本预测，跨行业迁移。这带来的不是「精度提升 3%」，而是边际成本的坍塌——新业务线接入预测能力的成本，从「三个月建模周期」变成「一次 API 调用」。

但时序和语言有四个根本差别

把 NLP 那套直接搬过来一定会踩坑，原因有四条，值得写在每个项目的第一页：

1. 信噪比极低。一句话的下一个词几乎是确定的，而一段销售曲线的下一个点可能被促销、天气、竞品、事故同时影响。模型必须输出分布而不是点。
2. 非平稳。文本的语法三百年前和今天差不多，而电力负荷的分布会因为一场寒潮彻底改变。所以「时序模型的泛化」更多是分布漂移下的鲁棒性，不是语义泛化。
3. 多尺度共存。同一份数据里同时有分钟级抖动、周内节律、年度趋势。patch 长度、上下文长度、频率编码方式，都会显著改变结果。
4. 协变量是半条命。促销日历、天气、价格、设备状态——这些「已知的未来信息」往往比历史本身更有预测力。是否原生支持协变量，是 2026 年选型的第一道分水岭。

怎么读这本书

三部分可以独立阅读，但建议按顺序：第一部分的三个概念（量化 vs 连续、点预测 vs 分布、协变量）会在第二部分反复出现；第二部分的「世界模型 + 动作专家」结构，是第三部分所有 VLA 模型的共同骨架。

每个项目章按同一模板组织，方便横向对比：背景与问题 → 方法要点 → 数据与训练 → 代码与复现 → 优势 / 局限 → 何时选它。所有数字都标注了来源类型（论文 / 模型卡 / 官方博客 / 第三方榜单），并在附录 D 说明核对口径与已知偏差。技术领域的半年等于别的领域五年，请把本书当作「地图」而不是「手册」：地图告诉你地形与路径，具体路况请以官方仓库的 README 为准。

所有 TSFM 都在回答同一个问题：如何把一条或多条实值序列，映射成未来若干步的概率分布。分歧只发生在两个地方——输入怎么变成 token，输出怎么变成分布。这两个选择，决定了模型的参数效率、推理速度、协变量能力，也决定了它适合什么业务。

路线 A：把数值变成词

Chronos 在 2023 年开了这个头：把序列按均值缩放后均匀分箱成有限词表，用 T5 的编码器—解码器做「翻译」。好处是直接继承语言模型的全部工程经验——KV cache、采样策略、并行训练；坏处是量化误差不可逆，而且词表外推能力差，遇到极端值只能落在边缘箱。

Kronos 把这条路推到极致：它不量化单个数值，而是把整根 K 线（OHLCV）量化成「粗 token + 细 token」的层级结构，等于给金融数据造了一套专用词表。Toto 则保留了自回归骨架但改用连续 patch 与 patch 级掩码，属于 A 与 B 之间的折中。

路线 B：patch 嵌入 + 回归头

TimesFM 与 Moirai 2.0 的做法更「朴素」：把序列切成定长 patch，线性投影成向量，喂进 decoder-only Transformer，输出端直接回归每个 patch 的多个分位数。它放弃了「采样即分布」的灵活性，换来一次前向就出全部预测——这正是生产环境最在意的东西。

这条路线在 2026 年占了上风，原因有三个：无词表意味着可以处理任意频率；并行解码意味着推理成本与预测长度几乎无关；分位数头天然给出预测区间，业务方要的往往就是 P90 而不是均值。TiRex-2 是个有趣的例外——它保留了「并行输出」的思路，但把 Transformer 换成了 xLSTM，看中的是流式场景下的常数级单步成本。

路线 C：学一整段分布

Sundial 的 TimeFlow Loss 是这条路线的代表作：不预测「下一个 token」，而是用 flow matching 学「下一个 patch 的分布」。它把模型看成 ARMA——Transformer 学自回归表征，flow 学移动平均式的残差生成。好处是能给出任意统计量（不只是分位数，还有期望、VaR、情景路径），坏处是要多步采样。

值得注意的是：这条路线在 2025 年之后溢出到了具身智能。π0 系列的动作专家、Cosmos 的视频生成、Genie Envisioner 的 GE-Act，用的都是同一类条件生成目标。「生成式预测」正在成为跨模态的公共语言。

十个项目的横向档案

下表是第 2—11 章的对象。参数量与上下文长度取自模型卡；MASE 取自 GIFT-Eval 公开结果文件（越低越好，1.000 = 季节性朴素基线），不同时间点的榜单会有小幅波动，请以官方最新结果为准。

* TiRex-2 为激活参数；多变量模式再激活约 44.1M。MASE 数据来自 GIFT-Eval 公开结果文件（2026-10 前后快照），Kronos 为金融专用、Time-MoE 与 TabPFN-TS 未在该榜单给出可比条目，故留空。

Chronos-2 是 2025 年之后时序领域最重要的一个「范式修正」：它证明不需要把数值离散化成词，也不需要为多变量单独设计结构——只要让模型在同一个上下文里同时看到多条相关序列与已知协变量，编码器就能学会跨序列的信息借用。

背景：初代 Chronos 的三个遗留问题

2023 年的 Chronos 用「缩放 + 均匀分箱 + T5」把时序预测翻译成了机器翻译。它很优雅，但留下三个问题：只能单变量（多变量得拆开预测再拼）、不能用协变量（促销、天气这些信息进不去）、量化误差（极端值被压到边缘箱里）。Chronos-2 把这三件事一次性解掉了，而且没有回到「给每个变量训一个模型」的老路。

方法：三个设计决定成败

其一，编码器而非解码器。它把历史窗口切成 patch，一次性编码，然后直接输出未来各步的分位数。这牺牲了「自回归生成任意长度」的灵活性，换来的是推理时的单次前向——对需要批量预测成千上万条序列的生产系统，这是决定性的。

其二，group attention（分组注意力）。这是 Chronos-2 的核心创新。同一个「预测任务」里的多条序列（比如同一门店的不同 SKU、同一电网的不同节点）被放进同一个注意力组，组内可以互相参照，组间彼此隔离。于是「借用相似序列的信息」变成了注意力机制的自然结果，而不是外挂的图神经网络。配合 8,192 步上下文，模型可以在一次前向里看到几十条相关序列。

其三，协变量作为「已知未来」直接拼接。历史协变量与未来已知协变量（促销日历、节假日、计划价格）被编码进同一个序列维度，模型因此能学到「未来信息 → 未来数值」的映射。这一点比精度提升更重要：现实中预测做不好，八成不是模型不够大，而是未来的已知信息没被用上。

数据与训练

训练语料以大规模公开时序集合与合成数据为主，重点在覆盖频率与领域的多样性：从秒级传感器到年度经济指标，从单变量到成组的多变量场景。训练目标是对数似然 + 分位数回归的混合，输出 0.01—0.99 的多级分位点，因此可以直接给出 80%/95% 预测区间。

代码与复现

pip install chronos-forecasting

from chronos import Chronos2Pipeline
import torch

pipe = Chronos2Pipeline.from_pretrained("amazon/chronos-2", device_map="cuda")
# 多序列 + 协变量：一次传一个「组」
preds = pipe.predict_df(
    df,                       # 长表：id / timestamp / target / 协变量列
    prediction_length=48,
    quantile_levels=[0.1, 0.5, 0.9],
    id_column="id", timestamp_column="timestamp", target="target",
)

工程上最省事的方式是走 AutoGluon-TimeSeries：TimeSeriesPredictor(presets="chronos2") 会把 Chronos-2 作为零样本基线自动接入，并允许与本地模型做加权集成。CPU 可跑，但 8,192 上下文下单条推理会明显变慢。

结果与边界

官方技术报告在 fev-bench 上给出 47.3 的技能分（TiRex 42.6、TimesFM 2.5 42.3）；GIFT-Eval 的 MASE 为 0.698，与榜首差距不到 5%。在 2026 年一份针对电力负荷的独立基准里，Chronos-2 在「未来协变量完全可得」与「仅有噪声预报」两种场景下都保持领先，这恰好是它设计时瞄准的场景。

来源：Amazon Science 技术报告与模型卡、Hugging Face 模型页、GIFT-Eval / fev-bench 公开结果文件、第三方独立基准（2026）。

什么时候选它：你要在两周内给一个真实业务上线预测能力，且数据里存在「多条相关序列 + 已知未来事件」。这也是本书推荐的默认基线——先跑 Chronos-2，再决定是否值得为 3% 的精度换更复杂的方案。

TimesFM 是「decoder-only + patch」这条路线最完整的工程实现：从 2024 年的 200M 单变量模型，到 2025 年的 2.5（16k 上下文、分位数头、XReg 协变量），再到 2026 年 8 月的 3.0（331M、GIFT-Eval 榜首）。它也是许可证变化最值得警惕的一个案例。

方法：把「预测」变成长上下文的下一段补全

输入序列被切成固定长度的 patch（默认 32 步），每个 patch 线性投影成一个 token，喂进纯解码器 Transformer；输出端不是词表，而是一组分位数（默认 10 个水平），一次性覆盖整个预测窗口。这套设计的关键取舍是：放弃 token 级自回归，换取并行解码与长上下文。

三点工程细节值得记住：（1）频率无关——模型不需要知道「这是小时数据还是周数据」，patch 长度承担了尺度归一化的角色；（2）分位数头可插拔——2.5 版本把连续分位数预测做到 1,000 步，直接服务业务侧的库存安全线；（3）XReg 协变量——注意，它是外挂的线性回归模块，不是模型原生能力，这也是 Chronos-2 在「协变量不确定性」基准上更稳的原因。

TimesFM-ICF：不微调也能「吃到」你的数据

ICML 2025 的 in-context fine-tuning 是这条路线最实用的贡献：把同域的历史序列作为「示例」拼进上下文，让模型在推理时对齐你的数据分布，不更新任何权重。它恢复了目标域微调的大部分收益，却保留了零样本部署的简单性。对「每条业务线数据都很少」的场景，这比 LoRA 更划算。

2.5 与 3.0：一次「许可换性能」的交易

代码与复现

pip install git+https://github.com/google-research/timesfm.git

import timesfm
tfm = timesfm.TimesFm(
    hparams=timesfm.TimesFmHparams(backend="gpu", per_core_batch_size=32,
                                   horizon_len=128, context_len=1024),
    checkpoint=timesfm.TimesFmCheckpoint(huggingface_repo_id="google/timesfm-2.5-200m-pytorch"),
)
point, quantiles = tfm.forecast([series], freq=[0])  # freq 仅作提示

注意 context_len 与 horizon_len 的比例：官方建议 horizon 不超过上下文的 1/8，否则末段误差会快速放大。协变量请走 XReg 接口，不要硬塞进输入。

来源：Google Research 博客、TimesFM GitHub、Hugging Face 模型卡、GIFT-Eval 结果文件（2026-10）。

什么时候选它：预测窗口长（数百到上千步）、需要可靠区间、且团队已经在 GCP 生态里。若你要商用且需要协变量，回到 Chronos-2；若你只做研究对比，3.0 是当前的天花板参照。

当所有人都在把时序模型做大时，Salesforce 把 Moirai 2.0 做到了 11.4M 参数——比初代小了近一个数量级，却在多数基准上超过了 91M 的 Moirai 1.1。这是 2025 年最重要的反直觉结果之一：在时序领域，架构与训练目标的正确性，比参数量更值钱。

背景：初代 Moirai 的「过度设计」

Moirai 1.1 是个精巧的模型：掩码编码器、多 patch 尺寸、混合分布输出、任意变量注意力。它确实强，但训练与推理都复杂——多 patch 意味着每个频率要选不同尺寸，混合分布意味着采样开销大。2.0 的做法是做减法：单一 patch 尺寸、decoder-only、多 token 预测、分位数输出。作者报告它在更小、更快的同时更准。

方法：三个「少即是多」

（1）单 patch 尺寸。放弃「按频率选 patch」，改用统一 patch + 频率编码。损失了一点频率先验，换来训练分布的一致性与更简单的部署。

（2）多 token 预测（multi-token prediction）。一次前向预测多个未来 patch，而不是逐步自回归。这既提升吞吐，又让模型在训练时被迫学习「整段一致」而不是「单点最优」——长程一致性因此改善。

（3）量化解码。输出端用一组分位点（0.1/0.2/…/0.9）做分类式解码，而不是回归连续值或采样混合分布。这让损失更稳定，也让推理完全并行。

为什么 11M 够用

时序数据的「有效信息量」远低于文本：一条序列的生成机制通常由少数几个因素（趋势、季节、节假日、少数外生变量）决定。11M 参数的容量，足以覆盖这些结构的组合，而更大的模型很容易把容量浪费在记忆训练集的具体波形上。这也解释了为什么在 GIFT-Eval 上，Moirai 2.0（0.728）虽然不敌 Chronos-2（0.698），但训练与推理成本低一到两个数量级——单位算力收益反而更高。

代码与复现

pip install uni2ts

from uni2ts.model.moirai2 import Moirai2Forecast, Moirai2Module

model = Moirai2Forecast(
    module=Moirai2Module.from_pretrained("Salesforce/moirai-2.0-R-small"),
    prediction_length=96, context_length=2048, target_dim=1, feat_dynamic_real_dim=0,
)
# GluonTS 数据容器直接喂入，输出为分位数
forecasts = model.predict(test_data.input)

注意 uni2ts 2.0 之后 Moirai、Moirai-MoE、Moirai 2.0 是三套不同权重、不同 API，别把三者的论文数字混着引用——这是社区里最常见的错误。

来源：Salesforce AI 研究博客、uni2ts 仓库与模型卡、GIFT-Eval 结果文件。许可信息以 Hugging Face 模型卡为准（CC BY-NC 4.0）。

什么时候选它：你要在成千上万条序列上做低成本推断（比如设备级异常预警），或者需要研究「小模型能做到什么程度」的基线。商用请先解决许可，或把它当作结构与训练目标的参考实现。

Sundial（内部也称 Timer 3.0）是「生成式时序预测」这条路线最干净的一个实现：Transformer 负责自回归表征，flow matching 负责把噪声变成下一段分布。作者自己给的类比很准确——它相当于一个 ARMA 模型，自回归项学表征，移动平均项由 flow 生成。

问题：为什么不能只回归一个点

分位数回归告诉你「90% 的分位在哪里」，但不告诉你「哪些轨迹是可能的」。在库存、电力调度、风险计量里，真正重要的是联合分布与情景路径——比如「未来 24 小时里，出现连续 3 小时超过阈值的概率」。这需要能从分布里采样，而不是查表。Sundial 的出发点就在这里。

方法：TimeFlow Loss

模型把序列切成 patch，用 decoder-only Transformer 得到每个 patch 位置的隐表征；然后以该表征为条件，用一个 flow matching 网络把高斯噪声传输成「下一个 patch 的取值」。训练目标是条件流的速度场回归，推理时用若干步 Euler 积分生成一条样本，重复 num_samples 次就得到一组轨迹。

三个值得注意的设计：（1）不做离散化，避免了 Chronos 式的量化误差；（2）不指定先验分布族，比混合高斯更灵活，能表达多峰、厚尾；（3）多 patch 预测 + KV cache，让「一次生成 720 步」在 CPU 上也只需几百毫秒。

数据：TimeBench 的 10¹² 个点

TimeBench 以真实数据为主（LOTSA、Chronos 数据集、UTSD 等），辅以合成序列。这个量级的意义不在于「多」，而在于覆盖了足够多的生成机制：从近乎确定性的物理过程到高度随机的金融波动。作者特别强调，合成数据的比例经过调优——太多会让模型只学会「生成漂亮波形」，太少则泛化不足。

代码与复现

pip install transformers==4.40.1   # 官方指定版本，Python 3.10 最稳

import torch
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("thuml/sundial-base-128m", trust_remote_code=True)

seqs = torch.randn(1, 2880)                       # lookback
out = model.generate(seqs, max_new_tokens=96, num_samples=20)
print(out.shape)                                  # [20, 96] 20 条情景路径

拿到 20 条路径后，均值、任意分位、VaR、超过阈值的概率都是后处理。别只看均值和真值的误差——生成式模型的价值在分布的形状，评估请用 CRPS 或加权分位损失（WQL）。

来源：ICML 2025 论文（arXiv:2502.00816）、thuml/Sundial 仓库、Hugging Face 模型卡、GIFT-Eval 结果文件。

什么时候选它：你的下游决策需要「情景」而非「一个数」——电力调度的极端场景、金融压力测试、供应链的缺货概率。若只追求点预测精度，它不是最优解。

Toto 2.0 是 2026 年最「诚实」的时序模型发布：它只用一个垂直领域的数据（可观测性指标）训练，却在 GIFT-Eval 通用榜上拿到 0.696；它同时公开承认——在长预测步长上，没有任何规格能消除结构性退化，某些指标仍不如经典统计方法。

为什么「只用自己的数据」是一个赌注

大多数 TSFM 用公开数据集预训练，好处是通用，坏处是与生产环境的分布差距大——公开数据里很少有「每 10 秒采集一次、带大量缺失、指标间强相关」的监控指标。Datadog 的选择是：既然客户的数据长这样，那就只在这种数据上训练。代价是通用性，收益是在自家基准 BOOM 上的显著领先。

这个赌注在 2026 年被验证了一半：它在 GIFT-Eval 这种「混合域」榜单上仍能排进前列（0.696），说明可观测性数据里包含的「噪声 + 多周期 + 缺失」结构，反而是一种很好的预训练素材。

方法：contiguous patch masking

核心机制是连续 patch 掩码：训练时一次遮住一整段连续的未来 patch，让模型学会「一次推断整个预测窗口」，而不是逐点外推。这带来两个后果：推理时一次前向就能出全长预测（对监控场景的「一次算 500 个指标的未来」至关重要）；模型被迫学习段与段之间的结构一致性，而不是局部平滑。

配合 decoder-only 架构与分位数输出，Toto 2.0 的推理成本在 A100 上约 36ms/次（2.5B），22M 版本约 5ms——这个跨度让「同一个模型家族，从边缘到数据中心」成为可能。

五个规格怎么选

代码与复现

pip install tsu   # Datadog 官方时序工具包

from tsu import Toto2Model
model = Toto2Model.from_pretrained("Datadog/Toto-2.0-22m")
forecast = model.forecast(context=context_tensor, horizon=96)   # [B, H, Q]

评估请用官方 BOOM（Datadog Observability Metrics）基准，它覆盖了监控场景特有的尖峰、缺失、多周期叠加；用 MASE 单独评它并不公平。

来源：Datadog 技术报告（arXiv:2605.20119）与官方博客、模型卡、GIFT-Eval / BOOM 结果。

什么时候选它：你做的是运维、APM、IoT 监控——指标多、频率高、缺失多、需要一次算一大片。反过来，若你的数据是零售销量、能源负荷这类强外生变量场景，Chronos-2 更合适。

当整个领域都在堆注意力时，NXAI 用 xLSTM（带指数门控与记忆混合的循环网络）做出了 GIFT-Eval 前三的模型。TiRex-2 的意义不只是「又一个 SOTA」：它证明了在时序这个任务上，循环结构的归纳偏置可能比注意力更合适，而且单步成本恒定，天然适合流式场景。

为什么是 xLSTM

xLSTM 的两个关键组件是 sLSTM（标量记忆、指数门控，擅长精确计数与状态跟踪）与 mLSTM（矩阵记忆、协方差更新规则，可并行训练）。对时序而言，这两件事恰好对应两类需求：记住「上一次峰值是多少」，以及在长历史上做内容寻址。注意力当然也能做，但代价是 O(n²) 的上下文成本。

更实际的优势在部署侧：循环结构让每处理一个新 patch 的成本恒定，不需要重算整段上下文。对「传感器每秒来一条数据、要在线更新预测」的场景，这是架构级的胜利，而不是工程优化。

TiRex-2 补上了什么

初代 TiRex 只能单变量、无协变量，这在高价值场景里是硬伤。TiRex-2 增加了原生多变量与过去/未来已知协变量，并把许可从「社区许可（对大企业附加条件）」换成 Apache-2.0。注意：流式推理与微调能力仍属 Pro 版，开源版是「零样本预测 + 权重」，这一点在选型时容易踩坑。

数据配方

官方披露的池子约 4,750 万条序列：约 3,000 万条来自 Chronos 衍生/TSMixup 增强，1,500 万条高斯过程合成，约 250 万条 GIFT-Eval 样本，另加动力学系统库（dysts）按 1% 采样与在线构造的多变量耦合。这个配方的特点是合成占比高——目的是让模型见到足够多的「生成机制」，而不是记住具体波形。

代码与复现

pip install tirex-ts

from tirex import load_model, ForecastModel
model = load_model("NX-AI/TiRex-2")          # CPU 可跑
forecast = model.forecast(context, prediction_length=64, quantiles=[0.1,0.5,0.9])

来源：NeurIPS 2026 论文（TiRex，arXiv:2505.23719）、NX-AI 模型卡、GIFT-Eval 结果文件。

什么时候选它：边缘设备、在线流式预测、内存受限但要求精度不低的场景（工业传感器、车载、可穿戴）。若你需要 8k 上下文与复杂协变量，仍应选 Chronos-2。

Time-MoE 是第一个把「Scaling Law」这套叙事完整搬到时序上的开源尝试：自建 3,090 亿个时间点的 Time-300B，用稀疏混合专家（MoE）把总参数推到 24 亿，而每个 token 只激活一小部分。它未必是今天最好用的模型，但它是理解「时序能不能 scale」这个问题的必读文献。

方法：逐点 token + 双注意力 + 稀疏路由

与 TimesFM 的 patch 路线不同，Time-MoE 采用逐点 tokenization：每个时间点（带缩放）映射成一个 token。好处是粒度最细、不会因 patch 边界丢失突变；坏处是序列长度暴涨，必须靠上下文截断（4,096）与稀疏计算控制成本。

为了处理多变量，它使用双注意力：一条轴做时间维注意力，一条轴做变量维注意力，最后融合。这比「把所有变量拼成一条长序列」更省算力，也更容易解释。

MoE 层是 scaling 的关键：路由网络为每个 token 选择少数专家（论文配置为 32 专家、每 token 激活 2 个），于是总参数可以很大、单次计算量却接近小模型。作者报告了清晰的幂律：数据量、参数量、计算量增加时，零样本误差单调下降——这是时序领域第一次用实验把「scaling law」摆上桌面。

数据工程才是隐藏的主角

Time-300B 的构建过程比模型更值得学：跨域采集 → 去重（防止测试集泄漏）→ 质量过滤（剔除常数段、异常跳变、过短序列）→ 频率归一 → 领域重采样（避免「自然」类数据因点数多而主导训练）。作者明确指出，清洗策略对最终效果的影响大于架构微调。这句话值得每个做时序数据的人贴在显示器上。

代码与复现

pip install git+https://github.com/Time-MoE/Time-MoE.git

from model import TimeMoE
model = TimeMoE.from_pretrained("Maple728/TimeMoE-200M")
# 逐点输入，输出未来若干点的分位数

逐点 token 意味着长序列推理成本高：预测 96 步、回看 4,096 步时，单条序列的显存占用明显大于 patch 类模型。生产环境建议先做降采样或分段。

来源：ICLR 2025 论文（arXiv:2409.16040）、Time-MoE/Time-MoE 仓库、Hugging Face 模型卡。

什么时候选它：你要研究「时序 scaling」、需要一套干净的多域预训练语料，或者想在稀疏架构上做实验。纯工程落地，Chronos-2 / TimesFM 更省心。

Kronos 是「垂直领域 TSFM」最好的样本：它不追求通用，而是把 OHLCV 五维结构量化成层级 token，在 45 个交易所的 120 亿根 K 线上做自回归预训练。结果是一个 4M—102M 的模型家族，在价格预测、波动率预测、合成数据生成与投资模拟上都拿到了可用的零样本结果。

为什么金融数据需要专用 tokenizer

通用 TSFM 把 K 线当成五条独立曲线，这会丢掉最重要的信息：同一根 K 线内部，开高低收的几何关系（实体、影线）与成交量的耦合。Kronos 的两阶段设计正是为此：

1. K 线 tokenizer：用 Transformer 自编码器 + BSQ（二值球面量化）把连续五维向量压成「粗 token + 细 token」的层级表示。粗 token 抓主结构，细 token 补细节，量化误差有界。
2. 自回归预训练：在这些 token 上做 next-token 预测，附带层级重建损失，让模型同时学会「下一根 K 线长什么样」与「它由哪些微观结构组成」。

四类任务，一个模型

论文还给了 A 股沪深 300 的投资模拟：large 版本年化超额收益 0.219、信息比率 1.42。这类数字必须谨慎看待——回测里的交易成本、滑点、容量约束往往被简化，而且 2025—2026 年的市场结构变化很快。

代码与复现

from model import Kronos, KronosTokenizer, KronosPredictor

tok = KronosTokenizer.from_pretrained("NeoQuasar/Kronos-Tokenizer-base")
model = Kronos.from_pretrained("NeoQuasar/Kronos-small")
predictor = KronosPredictor(model, tok, device="cuda:0", max_context=512)

pred = predictor.predict(df=x_df, x_timestamp=x_ts, y_timestamp=y_ts,
                         pred_len=120, T=1.0, top_p=0.9, sample_count=1)

T 与 top_p 控制采样：温度高则路径多样、适合做情景；温度低则更接近「最可能路径」。sample_count 大于 1 时会平均多条路径，稳定性更好但会抹平尾部。

来源：论文（arXiv:2508.02739）、Hugging Face 模型卡（NeoQuasar）、GitHub 仓库与微调脚本。

什么时候选它：量化研究中的「特征生成器」与「合成数据引擎」，而不是直接当交易信号。它最靠谱的用法是：用 Kronos 生成大量合成 K 线做策略压力测试，或用其隐表征做因子。

TabPFN-TS 走了一条完全不同的路：它不训练时序模型，而是把预测问题改写成表格回归——用滞后项、滚动统计、季节与日历特征构造一张表，再让 TabPFN（一个在合成表格任务上预训练的 Transformer）做上下文学习。没有梯度下降，没有超参搜索，一次前向就出结果。

为什么「不训练」反而有效

TabPFN 的核心洞察是：如果预训练时见过足够多合成的表格任务，模型就学会了一个「贝叶斯推断器」——给它一小批 (X, y) 作为上下文，它能在前向传播里完成隐式拟合。把时间序列转成表格后，「用历史预测未来」就变成了「用训练行预测测试行」，正好落进它的能力范围。

特征构造是这套方法的灵魂：滞后项（t-1, t-7, t-30）、滚动均值/标准差、傅里叶项、节假日与星期几、以及已知的未来协变量（未来的促销、价格）。这听起来很「传统」，但正因为特征显式，模型的行为可解释、异常可追查——这在受监管行业里价值极高。

它适合什么、不适合什么

适合：序列数量多但每条都不长、需要快速冷启动、需要对预测结果给出「为什么」、算力只有 CPU 的场景。不适合：超长上下文依赖（跨年季节性）、高频海量数据、需要联合多变量分布的场景。

代码与复现

from tabpfn_time_series import TabPFNTimeSeriesPredictor, FeatureTransformer

pred = TabPFNTimeSeriesPredictor(device="cpu").predict(
    df=train_df,                        # 长表：item_id / timestamp / target
    prediction_length=24,
    feature_transformer=FeatureTransformer(scale=True),
)

来源：Prior Labs 官方文档与模型卡、TabPFN 论文、tsforecasting 生态（skforecast 已适配）。许可条款请以模型卡与 LICENSE 为准。

什么时候选它：作为「五分钟基线」——在你投入任何训练资源之前，先用它确认这份数据到底能被预测到什么程度。如果 TabPFN-TS 已经够用，你大概率不需要一个 120M 的深度模型。

2026 年时序领域最重要的基础设施不是某个模型，而是评测。GIFT-Eval、fev-bench、TIME 三套基准测的东西并不相同，它们给出的排名也不一致——理解这一点，比记住谁是第一更重要。

为什么时序评测比 NLP 难

语言任务的正确答案是文本，对错可以人判；时序任务的「正确答案」是未来，而未来只发生一次。于是评测必须回答三个问题：用什么误差度量（尺度不同的序列怎么平均）、用什么基线（季节性朴素常常强得离谱）、怎么防泄漏（训练语料里有没有混进测试段）。GIFT-Eval 的方案是：所有指标除以季节性朴素的误差，得到无量纲的比值；按短/中/长三类预测长度分组；数据集层面做严格去重。

三把尺子，三种答案

TIME 的方法论值得单独讲：它用 7 个可计算特征（趋势强度、曲率、季节强度、季节相关性、残差自相关、谱熵、平稳性）把每条序列编码成 7 位二进制，形成 128 个「能力格」。于是你不再只看到一个总分，而是能看到模型在哪类序列上强——比如 Chronos-2 在平稳序列上最好，TimesFM 2.5 在非平稳/漂移序列上反超。这比排行榜名次有用得多。

怎么跑通一次评测

git clone https://github.com/SalesforceAIResearch/gift-eval
pip install -e .
# 1) 下载数据（Hugging Face: Salesforce/GIFT-Eval）
# 2) 实现一个 predictor：输入历史 + 协变量，输出 [n_variates, horizon, n_quantiles]
# 3) 跑评测
python -m gift_eval.run --model my_model --dataset all --horizon long

三个常见坑：（1）分位数顺序必须是单调递增，否则 CRPS 会算出鬼结果；（2）预测长度要按配置里的 prediction_length 截断，不要自己截；（3）缺失值要用官方 mask，别自行插值——插值会制造未来信息泄漏。

来源：GIFT-Eval 论文（arXiv:2410.10393）与仓库、fev-bench 公开结果、tsfm.ai TIME 基准说明（2026）。

读完十个项目，你会发现真正的分水岭不是参数量，而是三件事：能不能用协变量、许可能不能商用、推理成本落在哪个量级。这一节把它们压缩成一张可以直接贴到墙上的决策表。

五条判据（按优先级排序）

1. 许可。先看 LICENSE 再看精度。2026 年的榜首模型里，至少三个（TimesFM 3.0、Moirai 2.0、TabPFN-TS）权重不可商用。这一条不过，后面全白搭。
2. 协变量。你的「未来已知信息」有多重要？如果促销日历、计划检修、天气预报能显著改变结果，就必须用原生支持协变量的模型。
3. 上下文与频率的匹配。8,192 步对小时数据是 341 天，对分钟数据只有 5.7 天。先算这个除法，再谈精度。
4. 吞吐与延迟。要预测 10 万条序列吗？那 TimesFM 的 16k 上下文会直接把成本打穿；Toto 22M 或 TiRex-2 才是答案。
5. 可维护性。团队有没有 GPU、能不能读 JAX、是否接受 pin 死的 transformers==4.40.1。工程债往往比精度债更贵。

一个可执行的三个月路线

第 1—2 周：用 TabPFN-TS 与 Chronos-2 各跑一条基线，建立 holdout 与成本核算表（预测一条序列多少钱）。第 3—6 周：把协变量接入，做特征审计——很多「模型不行」其实是「未来信息没给」。第 7—10 周：在 GIFT-Eval 的同域子集上复测，决定是否需要微调；若数据量小于 1 万条序列，优先用 TimesFM-ICF 式的上下文微调而非全量训练。第 11—12 周：上线影子模式，比较预测分布与实际分布的漂移，建立「模型失效」的自动告警。

物理 AI（Physical AI）指的是在物理世界中感知、推理并行动的智能系统：机器人、自动驾驶、工业设备、科学仪器。它与「生成式 AI」的区别不在于模态，而在于闭环——输出会改变世界，世界又会改变下一次输入，错误会累积、会伤人、会让设备损坏。

一、物理 AI 的四层栈

把 2026 年的开源生态按依赖关系铺开，会得到一张非常清晰的四层结构。理解这张图，比记住任何单个项目都重要——因为每一层的瓶颈不同，投入产出比也不同。

二、三条主线

主线一：世界模型成为「数据工厂」。真实机器人数据昂贵且慢：一次遥操作采集约 10—30 秒一条轨迹，一个任务要几百条。世界模型的承诺是把「采数据」变成「生成数据」——Cosmos-Predict2.5 用 2 亿段视频预训练，再用少量真机数据后训练成机器人专用生成器；GE-Sim 把视频生成变成动作条件的神经仿真器，每小时可产出数千条 rollout。这条线的经济意义远大于技术炫技：它直接改变了 scaling 的成本曲线。

主线二：物理引擎正在被重写为「GPU 原语」。传统引擎（MuJoCo、Bullet、PhysX）为 CPU 与交互式仿真设计，一次只能跑几百个环境。Newton 1.0 把 MuJoCo Warp、Disney 的 Kamino、SDF 碰撞与 VBD 可变形求解器统一到 Warp 之上，在 RTX PRO 6000 上实现相对 MJX 约 252×（移动）与 475×（操作）的加速；Genesis World 用纯 Python + 自研编译器做到 4,300 万 FPS 的多物理场仿真。加速的意义不是「快」，而是让「百万级并行试错」成为默认训练范式——这恰是 RL 与 sim2real 的前提。

主线三：评测从「看起来真」转向「做得到」。2025 年之前，世界模型用 FVD/PSNR 自评；2026 年这些指标已被证明与决策能力几乎无关（FVD 甚至被证伪）。新的共识是三层评测：物理常识（IntPhys 2 这类「可能/不可能」判断，人类 85%—95%，顶尖视频模型接近随机）、下游成功率（在仿真或真机上跑策略）、闭环一致性（长程 rollout 会不会「物理崩坏」）。这也是为什么 Isaac Lab-Arena、RoboChallenge、RoboColiseum 这类「评测基础设施」在 2026 年密集出现。

三、两条路线的争论：像素还是表征

Cosmos 代表像素生成路线：直接预测未来帧，优点是可视化、可人为检查、能直接做数据增强；缺点是算力昂贵、容易「物理糊弄」（physics slop，不看的几何就不守规矩）。V-JEPA 2 代表潜空间预测路线：只预测抽象表征，不算像素，优点是便宜（规划约 16 秒 vs 像素方案约 4 分钟）、对不可预测细节免疫；缺点是无法直接生成可看的视频、需要额外的解码器做可视化。

2026 年的实践结论是混合：世界模型负责「想」，视频生成负责「演」，策略模型负责「做」。GigaBrain-0.7 把 5B 的世界价值模型塞进决策回路；Genie Envisioner 用视频扩散做表征、再用轻量 flow 解码器出动作；Cosmos Policy 直接把视频模型改造成策略。三者的共同点是：没有人再相信「一个模型端到端包打天下」。

四、五个未解问题

1. 长程一致性。多数世界模型在 10—30 秒后开始漂移：物体会「融化」、遮挡关系错乱。Genie 3 也只能维持数分钟，且记忆窗口约一分钟。
2. 接触与可变形体。刚体已经不错，但线缆、布料、软体、颗粒仍是灾难。Newton 的 VBD 与 hydroelastic contact 是目前最认真的工程答案，但离「通用」还远。
3. Sim2Real 的量化。仿真里 90 分、真机 50 分是常态。RoboColiseum 用 3DGS 重建 + 物理参数对齐把拟合做到 R²≈0.9，这是 2026 年最值得关注的工程进展之一。
4. 评测的可信度。基准本身可以被「刷」：固定场景、固定相机、固定指令模板。真正的泛化评测需要随机化生成，而这又与可复现性冲突。
5. 成本。训练一个视频世界模型的成本是同等参数语言模型的数十倍；推理一个 14B 世界模型做闭环控制，当前的延迟（秒级）还不足以支撑高频控制。

接下来的十章，会逐一拆解这条栈上的十个开源项目。阅读时请始终带着三个问题：它替代了哪一层的人工？它的数据从哪来？它的失败模式是什么？

Cosmos 是目前工业界最完整的一次「世界模型平台化」尝试：它不是单一模型，而是数据管线 + 视频 tokenizer + 预训练世界模型 + 后训练配方 + 评测的一整套。目标很明确——让每个机器人团队都能用自己的数据，微调出一个「专用世界模型」，用来造数据、评策略、做闭环仿真。

方法：一个 flow 模型，三种入口

Predict2.5 用基于 flow matching 的扩散 Transformer，把 Text2World、Image2World、Video2World 统一进同一个模型——条件不同，但去噪路径共享。文本编码器不是 CLIP，而是自家的 Cosmos-Reason1（一个物理 AI 专用 VLM），这带来一个容易被忽略的好处：提示词里的空间关系、动作意图能被更准确地理解，而这恰恰是机器人生成数据最需要的。

Transfer2.5 是另一条腿：ControlNet 风格的多控制信号（深度、分割、边缘、LiDAR）做 Sim2Real / Real2Real 转换。它的价值在于把低保真仿真渲染成照片级真实——先用便宜的方式摆场景，再让生成模型补上材质、光照与噪声。

专用化的四条产品线

代码与复现

git clone https://github.com/nvidia-cosmos/cosmos-predict2.5
cd cosmos-predict2.5 && uv sync --extra cu128
# 单卡 24GB 起，14B 建议 80GB
python examples/inference.py --model Cosmos-Predict2.5-2B/post-trained \
  --prompt "a robotic arm picks up a red block" --num_frames 93

更实用的入口是 Cosmos Cookbook：里面给了数据筛选、合成数据生成、后训练、策略评估的完整配方。官方也在 Isaac Lab-Arena 中把 Cosmos 接成「策略评测的神经仿真后端」。

来源：Cosmos-Predict2.5 论文（arXiv:2511.00062）、NVIDIA 研究页与 GitHub 仓库、CES 2026 / GTC 2026 官方新闻稿。

什么时候选它：你有真机数据但量不够，需要「按场景批量造数据」；或者你要在仿真里做策略预筛，减少真机试错。若只是做学术对比、没有 A100/H100，先用小尺寸 + Transfer 版本。

V-JEPA 2 是 LeCun「世界模型」路线最完整的公开实现：在表征空间做预测，而不是重建像素。它给出的数字很有说服力——用不到 62 小时的机器人轨迹，就能让一个在 100 万小时视频上预训练的模型，零样本驱动真实机械臂完成抓取与放置。

方法：三阶段，一条链

阶段一：掩码表征预测。视频被切成管状 patch（2×16×16），随机遮住大部分，编码器只看可见部分，预测器去填补被遮位置——但目标不是像素，而是EMA 编码器给出的表征。这让模型不必浪费容量去重建草叶、噪点这类不可预测的细节。

阶段二：动作条件（V-JEPA 2-AC）。冻结编码器，训练一个新的预测器：以历史表征、机器人动作、末端状态为条件，用 block-causal 注意力预测下一帧表征。这一步只用不到 62 小时数据，却把「看懂视频」变成了「知道动作的后果」。

阶段三：在表征空间规划。给定一个目标图像，用 MPC（模型预测控制）在表征空间里优化动作序列——不需要把每一步解码成 RGB 再打分，因此规划速度比像素方案快约一个数量级（约 16 秒 vs 约 4 分钟）。

结果：反应式 vs 规划式

差距的来源不是感知精度，而是误差累积的方式：反应式策略每一步都可能偏一点，几十步后彻底跑偏；规划式策略在动手前先评估整条轨迹，错一步不会立刻变成失败。这个结果对具身智能的方法论影响很大——它说明「先想后做」不是效率问题，而是成功率问题。

来源：Meta AI 博客与论文（arXiv:2506.09985）、facebookresearch/vjepa2 仓库。成功率数字为论文报告值，不同初始化与目标图会波动。

什么时候选它：做「少数据、强泛化」的研究；或者在算力有限的情况下想要一个能规划的世界模型。工程落地想要端到端控制，仍应优先看 VLA（第 25 章起）。

Newton 是 2026 年物理 AI 基础设施层面最重要的一件事：由 NVIDIA、Google DeepMind、Disney Research 共同发起，交给 Linux 基金会治理，2026 年 3 月 17 日 GTC 上正式 GA。它把 MuJoCo 的物理正确性、Warp 的 GPU 并行、Disney 的闭链机构求解器缝合成一个引擎。

它到底解决了什么

（1）接触密集任务的精度。传统引擎用点接触近似，插连接器、装主板这种「公差极小」的任务会直接失败。Newton 引入 SDF 碰撞（直接吃 CAD 网格，不做凸包近似）与 hydroelastic contact（接触面上分布压力而非单点），几何保真度因此上了一个台阶。

（2）可变形体。VBD（Vertex Block Descent）求解器专攻线缆、布料、软体。Samsung 与 Lightwheel 已经用它做冰箱装配线上线缆操作的合成数据生成——线缆是仿真界公认的噩梦：会自碰撞、会塑性变形、受力后形状完全改变。

（3）闭链机构。Disney 的 Kamino 求解器补上了「平行连杆腿、多指手」这类闭环结构的仿真能力，这也是 Olaf 机器人能在舞台上稳定行走的技术前提。

（4）可微。物理过程可微意味着梯度能穿过仿真回传，用于轨迹优化与「从演示中学习」。这不是新概念，但在 GPU 上做到可用，是 2026 年才成熟的事。

工程接入

pip install newton-physics
# 作为 Isaac Lab 3.0 的可替换物理后端：
#   env_cfg.sim.physics_backend = "newton"
# 单独使用：
import newton
scene = newton.Scene(backend="mujoco_warp", device="cuda")

实际项目里最常见的做法不是「从零用 Newton 写仿真」，而是在 Isaac Lab 里换后端：环境代码不动，物理精度与吞吐同时提升，还能做「同一任务、多个物理引擎交叉验证」——这是论文审稿人最爱问的问题。

来源：NVIDIA GTC 2026 技术博客、Linux 基金会公告、newton-physics/newton 仓库与文档。

什么时候选它：你要做接触密集装配、线缆/布料操作、人形全身控制，且手上有 NVIDIA GPU。纯教学或轻量 RL，MuJoCo 仍然是更省心的选择。

Genesis 在 2024 年底以「43 亿倍实时」的宣传语引爆社区，随后被质疑、被修正、也被持续迭代。到 2026 年 10 月的 1.4.5 版本，它已经从一个「惊艳 demo」长成了一个结构清晰的多物理场平台：物理、渲染、编译器三层分离，纯 Python 调用，Apache-2.0。

三层架构：物理、渲染、编译器

物理层把六类求解器放在同一个场景、同一份状态里，并允许显式耦合（比如「布料落在刚体上」「水冲走颗粒」）。这在传统引擎里通常要外挂插件，Genesis 把它做成了原生能力。

渲染层提供三条路径：自研的 Nyx（为机器人场景设计，支持 3DGS、PBR、多相机多环境）、Luisa（DSL 光线追踪）、Pyrender（光栅化）。对 sim2real 的视觉迁移，Nyx 的域随机化能力是关键。

编译器层叫 Quadrants，把 Python 内核代码下沉到 CUDA / ROCm / Metal / Vulkan / x86 / ARM64。这是它能「纯 Python 却跑得快」的根本原因——你写的是 Python，跑的是编译后的 GPU 内核。

可微与生成

Genesis 的可微仿真接口在 1.4.5 改为直接接收 PyTorch 张量（不再用自定义张量类型），这意味着你可以把仿真嵌进一个 nn.Module 里，让梯度穿过物理过程回传到策略参数。配合「文本生成场景」的能力，它更像一个「生成式世界平台」而不是传统仿真器。

代码与复现

pip install genesis-world          # Python 3.10—3.13
import genesis as gs
gs.init(backend=gs.cuda)
scene = gs.Scene(sim_options=gs.options.SimOptions(dt=0.01))
plane = scene.add_entity(gs.morphs.Plane())
franka = scene.add_entity(gs.morphs.MJCF(file="xml/franka_emika_panda/panda.xml"))
scene.build(n_envs=4096)          # 4096 个并行环境
for i in range(1000):
    scene.step()

来源：Genesis World 官方文档与 PyPI 页面、GitHub Releases（v1.4.5）、项目 README。

什么时候选它：需要「一个引擎搞定软硬混合场景」的研究项目、想用 3DGS 做高保真视觉 sim2real、或者团队不想碰 C++。对接触精度要求极高的工业装配，Newton 更稳。

Isaac Lab 是 NVIDIA 机器人栈的「操作系统」：把 Isaac Sim 的仿真能力包装成 RL 与模仿学习可直接使用的环境集合，支持万级并行。2026 年它的两个变化最关键——接入 Newton 作为可替换物理后端，以及 Lab-Arena 把「评测」变成一等公民。

为什么它是「事实标准」

原因不在技术，而在生态位置：NVIDIA 声称其 Isaac/Omniverse 体系已覆盖超过 200 万台机器人；Boston Dynamics、Franka、NEURA、LG 等厂商的新品发布都直接跑在这套栈上；CES 2026 上 Hugging Face 与 NVIDIA 合作，把 GR00T 系列模型与 Lab-Arena 直接接进 LeRobot。这意味着：你在 Isaac Lab 里训的策略，能以最短路径进 LeRobot 生态、进 Jetson 部署。

Lab-Arena 解决的是「评测碎片化」

在此之前，每个实验室都自己写评测脚本：环境初始化、成功判定、随机种子、日志格式各不相同，导致「A 模型比 B 好」几乎无法跨机构验证。Lab-Arena 提供统一的任务层 + 评测层，并与 Libero、RoboCasa 等既有基准打通，支持大规模并行 rollout 与标准化报告。它和 OSMO（云边协同的编排框架）配合，可以把「合成数据 → 训练 → 评测」串成一条流水线。

代码与复现

git clone https://github.com/isaac-sim/IsaacLab.git
./isaaclab.sh --install
# 用 Newton 后端跑一个操作任务
python scripts/reinforcement_learning/rsl_rl/train.py \
  --task Isaac-Lift-Cube-Franka-v0 --headless --enable_cameras

实操建议：先用小任务验证后端切换是否影响收敛（Newton vs PhysX 的接触参数不同），再扩到大规模。Lab-Arena 的评测要固定任务版本与随机种子，否则结果不可比。

来源：NVIDIA GTC 2026 / CES 2026 新闻稿、Isaac Lab 官方文档与仓库、Lab-Arena 公告。

什么时候选它：你要做大规模 RL 训练或工业级 Sim2Real，且已经在 NVIDIA 生态内。纯模仿学习、小规模实验，LeRobot + ManiSkill3 更轻。

ManiSkill3 是学术圈最实用的操作仿真器：它不追求「什么都能仿」，而是把桌面操作这件事做到极致——GPU 并行、异构环境（不同场景同时跑）、渲染与物理同卡、单卡可达数万 FPS。对做 VLA 微调与数据生成的团队，它是性价比最高的选择。

三个工程亮点

（1）异构仿真。同一批并行环境里可以跑不同任务、不同场景、不同机器人——这对「一个 batch 里混合多种任务」的训练方式至关重要，而多数仿真器要求所有环境完全一致。

（2）渲染与物理同卡。视觉策略训练最怕「渲染在另一张卡、数据来回拷」。ManiSkill3 把光栅化与物理都放在 GPU 上，配合 sensor_data 直接产出张量，吞吐提升显著。

（3）域随机化原生。材质、光照、相机位姿、物体纹理都可以在 GPU 上批量扰动，且不牺牲速度。这让「用仿真数据微调 VLA」变得可行——第 34 章的 RoboTwin 与它是同类思路，但 ManiSkill3 更偏「通用操作」而非「双臂协同」。

代码与复现

pip install mani_skill
import gymnasium as gym, mani_skill
env = gym.make("PickCube-v1", num_envs=1024, obs_mode="rgbd")
obs, _ = env.reset()
for _ in range(100):
    obs, rew, term, trunc, info = env.step(env.action_space.sample())

做 VLA 微调时，建议用 obs_mode="rgb" + control_mode="pd_joint_delta_pos"，与主流数据集（Bridge、DROID）的动作空间对齐，减少「格式转换」带来的隐性误差。

来源：ManiSkill3 论文（RSS 2025）、官方文档与 GitHub 仓库、基准测试页。

什么时候选它：做 VLA 的仿真微调、快速验证策略结构、或者需要「一卡跑一千个环境」的学术实验。要做工业装配与全身控制，去 Isaac Lab。

Dreamer 4 是 2025 年最「概念干净」的结果：只从离线视频里学一个世界模型，然后在模型的想象里做强化学习，一步真实交互都没有，就在 Minecraft 里挖到了钻石——约两万步正确操作，数据量比此前最好的离线方法少约 100 倍。

方法：三段式，全部在潜空间

（1）自监督预训练。看大量无标注视频，学「下一帧的抽象表征」。没有动作标签，物理与因果的直觉来自观察本身。

（2）动作条件微调。用少量「观察—动作」配对数据训练动作条件预测器，让模型能回答反事实问题：「如果我这样做，世界会怎样」。这一步的数据量可以很小——V-JEPA 2 用 62 小时，Dreamer 4 的规模也在同一量级。

（3）在模型里训练智能体。世界模型固定，策略在想象中做 RL。因为不需要真实环境，样本成本接近于零；因为梯度/奖励都在潜空间里算，速度远快于像素级 rollout。

为什么这件事重要

它给出了「数据效率」的一条新路径：过去提效率靠「更好的模仿学习」，现在可以靠「更好的模拟器」。对机器人而言，这意味着真机数据的作用从「训练策略」变成「校准世界模型」——前者需要百万级样本，后者只需要几万条。这是一个数量级的差别。

同时要看清它的边界：Minecraft 是离散动作、确定性规则、可完美重置的环境。真实世界的连续控制、接触摩擦、不可逆损坏，都远比它难。Dreamer 4 证明的是方法论可行，不是工程可用。

代码与复现

git clone https://github.com/danijar/dreamerv3
pip install -r requirements.txt
python dreamerv3/main.py --logdir ~/logdir/dmc_vision --configs dmc_vision

DreamerV3 是理解这套方法最好的入口：它在 150+ 个任务上用同一套超参工作，代码不到两千行。想复现 Dreamer 4，重点在「世界模型的容量与训练稳定性」，而不是策略网络。

来源：DeepMind 论文与博客（2025-09）、danijar/dreamerv3 仓库。

什么时候选它：研究「世界模型 + RL」的方法论；或者在仿真里先预训练一个潜空间模型，再用少量真机数据校准。生产环境的端到端控制，仍建议 VLA + 传统控制器兜底。

Alpamayo-R1（AR1）是首个工业级开源「推理型」自动驾驶 VLA：100 亿参数，输出轨迹 + 决策理由。它的意义不在于性能超过 Waymo，而在于把「可解释性」变成了可训练的目标——这对 L4 的安全论证是刚需。

方法：chain-of-causation

传统端到端驾驶模型直接映射「感知 → 轨迹」，是个黑箱。AR1 在中间插入一段因果链推理：先描述当前场景（「前方信号灯失效，左有来车，右有行人等待」），再给出决策依据，最后输出轨迹。训练时把推理 token 与轨迹联合优化，推理时先解码理由、再解码动作。

这个设计有三重收益：可审计（事故复盘能看「它当时怎么想的」）、可干预（自然语言修正能改变行为）、可迁移（长尾场景靠常识推理而非记忆）。代价是延迟——推理链会拉长解码时间，官方口径端到端约 99ms，仍在实时预算内，但余量不大。

配套：AlpaSim 与被开放的数据

AlpaSim 是 AR1 的评测环境：可回放真实日志、可注入极端天气与施工场景、可做「反事实」测试（「如果早刹车 0.5 秒会怎样」）。它与 Cosmos 的生成能力配合，能把罕见场景「造」出来——这是解决长尾问题的现实路径。

来源：NVIDIA 博客（NeurIPS 2025 / CES 2026）、Alpamayo-R1 模型卡与 GitHub、AlpaSim 仓库。性能数字为厂商口径。

什么时候选它：做 L4 研究与安全论证、需要「可解释的端到端」方案、或想把驾驶领域的世界模型与推理链结合。量产乘用车仍应以「AR1 做研究基线 + 传统规划器兜底」为稳妥架构。

如果「物理 AI」只被理解成机器人，会漏掉一半：工程仿真与科学计算才是物理定律被使用得最密集的地方。PhysicsNeMo（前 Modulus）把 PINN、神经算子、图网络与扩散模型打包成一个 PyTorch 框架，目标是用 AI 代理模型替代昂贵的数值求解器。

两条技术路线

物理约束（PINN）。把 PDE 残差写进损失函数，让网络在拟合数据的同时满足方程。physicsnemo.sym 允许你用 SymPy 写方程，框架自动求空间导数并组损失。适合数据稀少但方程已知的场景（热传导、结构力学、电磁场）。

神经算子（FNO / DeepONet / Transolver）。学习「函数到函数」的映射，一次前向就能给出整个场（而不是逐点求解）。适合 CFD、气象、气动外形优化这类「输入几何/边界条件 → 输出全场」的问题。GraphCast 与 DoMINO 是其中工业化程度最高的两个。

为什么它在「物理 AI」里被低估

因为它不产生 demo 视频，但它产生可量化的商业价值：把一次 CFD 仿真从数小时压到毫秒，意味着设计空间可以被真正搜索。2026 年 NVIDIA 把 PhysicsNeMo 重构为「agent-ready」的库，接进 Agent Toolkit——让 AI 工程师代理自动调用物理求解器、生成高保真数据。这条线与机器人世界模型是同构的：都是用一个可微的近似器替代昂贵的真实过程。

代码与复现

pip install "nvidia-physicsnemo[cu13,sym]"

from physicsnemo.models.fno import FNO
model = FNO(in_channels=3, out_channels=1, dimension=2, num_fno_layers=4)
# 训练循环就是普通 PyTorch：损失 = 数据项 + λ·PDE 残差

来源：NVIDIA PhysicsNeMo 文档与 GitHub、PyPI 版本记录、NVIDIA 技术博客（2026-07 Agent Toolkit 扩展）。

什么时候选它：你要做「仿真替代」（surrogate model）、数字孪生、或科学机器学习研究。它与机器人世界模型共享同一套数学，值得作为「物理先验」的参考实现。

Genie Envisioner（GE）是国产团队对「世界模型该长什么样」的一次完整回答：不做 VLA，直接在视觉空间里建模交互动态，再把潜表征解码成动作。它把「未来帧预测 → 策略学习 → 仿真评估」串成一个以视频为核心的闭环。

三个组件怎么配合

GE-Base 是一个自回归视频生成模型：以指令与历史帧为条件，生成未来的多视角画面。它用稀疏记忆（随机采样历史帧）来处理长时序，避免上下文爆炸。它学到的潜空间，保留了空间结构与交互动力学——这正是 VLA 用语言对齐丢掉的东西。

GE-Act 是一个轻量 flow matching 解码器：把 GE-Base 的潜表征映射成动作轨迹。它支持异步推理（生成与执行解耦），因此在 200ms 内能出 54 步控制指令。关键优势是跨本体：换一台机器人，只需少量遥操作数据就能适配。

GE-Sim 把生成能力变成动作条件的神经仿真器：给它动作，它推演画面。官方称每小时可产出数千条高质量 rollout，用于闭环策略评估与数据增广。2025-10 发布的版本基于 Cosmos2 权重，说明它并不排斥外部世界模型。

EWMBench：给世界模型打分

这是 GE 最被低估的贡献。EWMBench 从三个维度评世界模型：视觉保真度、物理一致性、指令—动作对齐。在此之前，「这个生成视频好不好」基本靠人眼看；有了这套指标，才能比较 Cosmos、GE、V-JEPA 系的差异。

来源：技术报告（arXiv:2508.05635）、AgibotTech/Genie-Envisioner 仓库更新日志、EWMBench 说明。

什么时候选它：你要研究「视频世界模型 → 动作」这条路，或需要一套现成的世界模型评测。若目标是快速落地单臂抓取，π0.5 / GR00T 的工程链路更短。

具身智能要解决的事情可以用一句话概括：把互联网规模的语义知识，接到只有几十赫兹、有惯性、会撞坏东西的物理身体上。2024—2026 年，这个领域的架构已经收敛，但数据与评测仍是硬仗。

一、架构已经收敛：VLM 主干 + 动作专家

2024 年的 OpenVLA 走的是「把动作离散成 token，用语言模型自回归生成」；2024 年底的 π0 改成了「VLM 主干 + 独立的 flow matching 动作专家」，用专家层并行（Mixture-of-Transformers）避免语言能力被动作数据破坏。到 2026 年，几乎所有主流模型都采用了这个结构：π0.5、GR00T N1.x、SmolVLA、X-VLA、WALL-OSS、GigaBrain-0.7，只是主干与专家的比例、训练目标与系统层次不同。

二、三代模型，一条清晰的演进线

三、数据：三条来源，三种成本

真机遥操作是质量最高的数据：DROID（约 7.6 万条轨迹、13 个机构）、AgiBot World（百万级 episode）、BridgeData V2。成本也最高——一条 30 秒的轨迹，从布置场景到标注约 5—15 分钟。

第一人称 / 手持采集是 2025 年之后增长最快的一类：EgoDex（苹果，戴 Vision Pro 做家务）、UMI 系列（手持夹爪 + GoPro）、MEgo（觅蜂派）。它把「采集」从「操作机器人」降级为「做家务」，成本降一个数量级，代价是本体差异需要重定向。

仿真与生成是规模化的希望：RoboTwin 2.0（10 万+ 轨迹）、ManiSkill3、Cosmos / GE-Sim。这条路的瓶颈不在数量，而在真实性——视觉可以靠域随机化补，接触力与柔顺性很难。

四、评测：仿真分数与真机分数的鸿沟

这是最值得警惕的一张表。同一个 OpenVLA-OFT，在 LIBERO 上能到 97%+，在 RoboChallenge 的真机 30 任务上只有 8.66 分。这不是模型「造假」，而是两件事：LIBERO 的任务分布窄、成功判定宽松；真机要面对光照、相机位姿、物体材质、指令表达的全部扰动。

从这张表能读出三件事：（1）真机成功率整体很低，最好的也只有 62%，说明「通用操作」远未解决；（2）模型大小不是决定因素，0.9B 的 X-VLA 打赢 7B 的 OpenVLA-OFT；（3）专用化很重要，DM0、Spirit 这类不那么知名的模型能排在 π0.5 之前，靠的是针对榜单任务的后训练与工程调优。

五、四个未解问题

1. 数据壁垒。最好的模型（π0.7、Gemini Robotics 2）都不开源权重，因为数据是护城河。开源社区能拿到的最好权重，通常落后闭源 6—12 个月。
2. 长程任务。超过 5 分钟、需要几十个子任务的任务，成功率断崖式下降。System 2/3 是当前的主流解法，但「规划错了怎么恢复」仍无通用方案。
3. 灵巧与触觉。多数开源模型只输出夹爪开合 + 末端位姿，真正的多指手、力控装配需要触觉反馈，而开源触觉数据集几乎空白。
4. 实时性与成本。3B 模型在 Jetson Thor 上能跑，但 7B 以上必须云端；云端控制的延迟（100ms+）对动态任务不可接受。

π0.5 是目前「能下载到的最好用」的通用操作模型。它的关键不是参数，而是训练方法：知识隔离（knowledge insulation）——把「高层语义子任务」与「低层连续动作」分开训练，再用异构数据协同训练，从而在开放世界里保持泛化。

方法：三层「隔离」

结构隔离。VLM 主干与动作专家是两套权重，通过专家层并行（MoT）交互。这样动作数据不会「污染」语言能力，语言数据也不会被动作梯度冲垮。

目标隔离。π0.5 同时训练两个目标：预测高层子任务（「先把盘子摞起来」）与预测低层动作块。前者用网络与异构数据，后者用真机轨迹。推理时先出子任务，再出动作——这让模型能在没见过的环境里「自己拆步骤」。

数据隔离。异构数据（跨本体、跨场景、含网络数据）与目标本体数据按比例混合，且用「知识隔离」防止前者淹没后者。这是 π0.5 从「实验室」走向「家庭」的关键。

代码与复现

git clone https://github.com/Physical-Intelligence/openpi
cd openpi && uv sync
# 推理（需 8GB+ 显存）
uv run scripts/serve_policy.py policy:checkpoint \
  --policy.config=pi05_droid --policy.dir=gs://openpi-assets/checkpoints/pi05_droid
# 微调（LoRA 约 22.5GB，全量 70GB+）
uv run scripts/train.py pi05_myrobot --exp-name=run1 --overwrite

三个坑：norm stats 必须复用（否则归一化语义与预训练不一致，loss 会炸）；q01/q99 要检查（某个关节几乎不动时 std 极小，归一化后会出现 50 倍的异常值）；PyTorch 版不支持 LoRA，只能走 JAX 或全量微调。

来源：PI 官方博客（π0 / π0.5）、openpi 仓库与文档、RoboChallenge 榜单快照（2026-03）。

什么时候选它：你有 A100/4090、要做桌面级通用操作、希望「少数据、快适配」。若只有一张 12GB 卡，先看第 29 章的 SmolVLA。

GR00T 是 NVIDIA 为人形机器人准备的基础模型系列。N1.7 在 2026 年进入 GA/早期访问，结构是典型的「慢思考 + 快动作」：3B 参数，Cosmos-Reason2-2B 做推理主干，32 层 DiT 做低层动作，支持全身控制与移动操作。

双系统：System 2 想，System 1 做

System 2 是 VLM，负责理解场景与指令，输出高层的「做什么」；System 1 是 DiT，负责以约 120Hz 输出全身关节动作，负责「怎么做」。两者异步运行：VLM 10Hz 左右更新一次意图，DiT 高频执行。这个设计的好处是把「慢推理」与「快控制」解耦，既保证语义正确，又满足实时性。

为什么它对生态重要

因为它是唯一一个「可商用 + 开放权重 + 有人形真机验证」的组合。Boston Dynamics、Franka、NEURA、LG 等厂商的新品直接跑在这套栈上；CES 2026 上 NVIDIA 与 Hugging Face 合作，把 GR00T 模型接进 LeRobot，让社区可以用同一套接口微调人形与机械臂。官方还给出了一组有说服力的数字：GR00T N1 用 11 小时生成 78 万条合成轨迹，相当于 9 个月的人类示范；合成 + 真实数据混合训练带来约 40% 的性能提升。

代码与复现

git clone https://github.com/NVIDIA/Isaac-GR00T
pip install -e .
# 微调（单卡 A100 起，建议 80GB）
python scripts/finetune.py --base_model nvidia/GR00T-N1.7-3B \
  --dataset_path ./my_lerobot_data --embodiment_tag new_embodiment

来源：NVIDIA GTC 2026 / CES 2026 新闻稿、Isaac-GR00T 仓库、模型卡。BEHAVIOR-1K 榜单上 N1.6 的 avg progress 约 26.3%，可作能力参照。

什么时候选它：你要做人形或全身控制、且能接受 NVIDIA 生态绑定。纯桌面机械臂，π0.5 或 SmolVLA 更轻。

LeRobot 不是模型，而是这个领域的包管理器：统一的数据集格式、统一的策略接口、统一的硬件描述，让「下载权重 → 换成本体 → 采数据 → 训练 → 部署」变成一条命令的事。它对这个领域的贡献，可能比任何一个单点模型都大。

它解决的是「最后一公里」

在 LeRobot 之前，复现一个 VLA 需要：找到数据集 → 写转换脚本 → 对齐动作空间 → 实现归一化 → 调 dataloader → 处理相机键名。每一步都可能耗掉一周。LeRobot 把这些固化成约定：数据集用 parquet + mp4 + meta/info.json；相机键名统一为 observation.images.*；动作统一为 action；episode 索引与统计量放在 meta/episodes_stats.jsonl。

更关键的是硬件标准化：SO-100 / SO-101 这类百元级机械臂 + 官方组装指南，把「入门具身智能」的门槛从「实验室预算」降到「一个周末」。这是 2025—2026 年社区数据量爆发的直接原因。

代码与复现

pip install lerobot
# 采数据（SO-101）
lerobot-record --robot.type=so101_follower --teleop.type=so101_leader \
  --dataset.repo_id=me/pick_cube --dataset.num_episodes=50
# 训练 SmolVLA
lerobot-train --policy.type=smolvla --dataset.repo_id=me/pick_cube \
  --batch_size=64 --steps=20000
# 上传
hf upload me/pick_cube ./outputs/train/... --repo-type=dataset

三个实践建议：（1）采数据时每个 episode 都要有语言指令，且指令措辞要多样（否则模型只学会「背指令」）；（2）至少 50 条/任务，低于 30 条基本学不会；（3）训练前用 lerobot-dataset-visualize 检查帧对齐——相机丢帧是最常见的隐性 bug。

来源：LeRobot GitHub（v0.6 文档）、Hugging Face 博客、CES 2026 NVIDIA × HF 合作公告。

什么时候选它：几乎所有人。它是本书推荐的默认起点：先用 LeRobot 把数据格式与训练流程跑通，再决定要不要换更专业的仿真或框架。

OpenVLA-OFT 是理解「基准与现实差距」的最好案例：它把 OpenVLA 的 LIBERO 平均成功率从 76.5% 提到 97.1%，速度快 26 倍；但在 RoboChallenge 的真机 30 任务上，它只拿到 8.66 分。同一份权重，两个世界。

OFT 做了什么

原始 OpenVLA 把 7 维动作离散成 256 个 bin，自回归逐个生成——慢，且量化误差大。OFT（Optimized Fine-Tuning）做了三处改动：（1）并行解码，一次前向出整段动作；（2）动作分块，输出长度为 8—16 的连续动作序列；（3）L1 回归替代交叉熵，直接回归连续值。三招合起来，控制频率从 3—5Hz 提到 50Hz 以上，LIBERO 上的成功率也随之大涨。

此外它支持双臂 ALOHA 平台与多种本体，是学术论文最常用的「强 baseline」之一。

为什么真机只有 8.66 分

三个原因，值得每个做具身的人记住：

• 视觉域差异。训练数据以第三视角、固定光照为主，真机榜单的相机位姿、背景、物体材质都在变。
• 动作空间。7B 模型的输出是末端位姿增量，而榜单任务需要与具体本体的控制频率、限位、重力补偿配合；接口对了，物理不一定对。
• 单步决策。没有显式的高层规划与恢复机制，任务一长就漂。

这不是说 OFT 不好——它在自己定义的分布内非常强。它提醒我们：benchmark 是一种「分布声明」，而不是「能力证明」。选型时必须问：这个分数是在什么分布上得到的？

来源：OFT 论文与 moojink/openvla-oft 仓库、LIBERO 榜单、RoboChallenge 真机榜（2026-03）。

什么时候选它：做学术对比、需要可复现的强 baseline、或者在 LIBERO 类仿真里做消融。真机落地请优先考虑 π0.5 / GR00T / X-VLA。

SmolVLA 的目标非常明确：让「训练一个自己的 VLA」从实验室能力变成个人能力。450M 参数，4GB 显存可推理，单张 3090/4090 可微调，配套 LeRobot 的数据与硬件生态——它是目前入门具身智能性价比最高的选择。

怎么把 450M 做得「够用」

层跳过。VLM 主干不跑完全部层，而是隔层取特征。视觉 token 的语义信息在中间层已经足够，后几层主要服务文本生成——对动作预测是浪费。

视觉 token 压缩。把多相机的高分辨率 patch 压到更少的 token，显存与延迟同时下降。这是它能在消费级显卡上跑 30Hz 的关键。

异步推理。把「观测 → 推理」与「执行」解耦：机器人在执行当前动作块时，模型已经在算下一块。这样即使推理延迟 100ms，控制频率仍能保持。

代码与复现

pip install lerobot
lerobot-train --policy.type=smolvla \
  --dataset.repo_id=me/pick_cube \
  --batch_size=64 --steps=20000 --policy.device=cuda
# 部署（异步）
lerobot-eval --policy.path=outputs/train/smolvla/checkpoints/last \
  --env.type=so101 --eval.n_episodes=20

经验值：单任务 50—100 条演示、2 万步训练，成功率通常能到 60%—80%；跨物体泛化需要至少 3—5 种物体的混合数据。

来源：SmolVLA 论文、LeRobot 文档、Hugging Face 模型卡与示例。

什么时候选它：个人/小团队第一次做 VLA、教学演示、单臂桌面任务。它是「先跑通闭环」的最佳选择，跑通后再升级到 π0.5 / GR00T。

跨本体训练最大的痛点是「互相干扰」：不同机器人的相机、动作空间、控制频率都不一样，混在一起训会让模型学成一个「谁都不像」的平均解。X-VLA 的解法很巧：给每个硬件配置一组可学习的软提示（soft prompt），把「本体差异」变成「提示差异」。

方法：把「换机器人」变成「换提示」

第一阶段，模型在大规模异构数据上学习「本体无关的通用策略」，每个数据源配一组软提示向量，告诉模型「你现在面对的是哪台机器」。第二阶段，遇到新机器人时冻结主干，只学一组新的软提示——只需约 1% 的参数（约 900 万），就能完成适配。

这个设计的漂亮之处在于：它把「跨本体迁移」从「微调整个模型」降级为「学一个 128 维的向量」，既避免灾难性遗忘，又极大降低了部署成本。作者报告在 LIBERO 上接近 π0 的表现，而可训练参数少 300 倍。

成绩单（多基准）

注意最后两行的反差：它在「空间理解/指令跟随」类基准上极强（VLABench 51.0），但真机综合分不高。原因与 OFT 类似——真机考的是工程适配，不只是模型能力。

代码与复现

git clone https://github.com/2toinf/X-VLA && cd X-VLA
conda create -n XVLA python=3.10 -y && conda activate XVLA
pip install -r requirements.txt
# LeRobot 内部调用
lerobot-eval --policy.path=lerobot/xvla-libero --env.type=libero \
  --env.task=libero_spatial,libero_goal,libero_10 --env.control_mode=absolute

官方提示：转成 HF 格式后约有 1% 的性能下降，正在排查；LIBERO 评测要注意「相对动作 → 绝对动作」的转换（见仓库 issue #2、#15）。

来源：论文（arXiv:2510.10274）、2toinf/X-VLA 仓库、LeRobot 文档、VLABench / CALVIN / RoboTwin 榜单、RoboChallenge 快照。

什么时候选它：你手上有多种机器人、想用一套模型统一管理，且显存有限。它是「跨本体」这个方向上最优雅的开源实现。

WALL-OSS 是国内最早一批「端到端具身基础模型」的开源版本：4.2B 参数，走「大小脑统一」路线——不把规划与控制拆成两个模型，而是在一个网络里用共享注意力 + 专家分流前馈完成「理解 → 规划 → 动作」。

三个设计选择

（1）共享注意力 + 专家分流 FFN。语言、视觉、动作被嵌入到同一表示空间，通过共享注意力交互；前馈层则按任务需求路由到不同专家。这样既保留了跨模态融合，又避免「动作数据把语言能力带偏」。

（2）三阶段训练：先离散、后连续、再联合。先用离散动作 token 让模型学会「动作也是一种语言」，再切到连续动作头，最后联合优化。这是把 VLM 的语言能力迁移到物理动作的实用配方。

（3）跨层级思维链。从指令理解 → 中间推理 → 子任务拆解 → 连续动作，形成一条可解释的链。这让它能在高层语义决策与底层控制之间切换，处理长程任务。

为什么它值得关注

它是少数同时满足「国产、开源、可商用、真机榜有名次」的模型。对一个要在国内做机器人产品的团队，WALL-OSS 提供的不是「最强性能」，而是「许可与供应链都可控」的起点。它的训练数据包含自采真机数据与多模态具身数据，数据接口也一并开放。

来源：WALL-OSS 技术报告与 X-Square-Robot/wall-x 仓库、RoboChallenge 榜单（2026-01 / 2026-03 快照）。

什么时候选它：国内团队需要可商用、可自主可控的具身基座；或者你想研究「大小脑统一」这条与「双系统分离」相对立的架构路线。

GigaBrain-0.7 是 2026 年最具野心的开源具身模型：它不只做「看—说—动」，而是在中间插了一个System 3：世界价值模型——动手前先推演未来几帧、评估任务进度，再决定动作。官方称之为「先预演，再行动」。

三系统怎么分工

关键在于 System 3 的用法：它不是离线数据生成器，而是在线决策的一部分。给定当前观测，它先生成「如果按计划走，接下来几帧会是什么样」，把末帧当作视觉子目标，并输出一个价值信号；System 1 再以此为条件生成动作。这和 V-JEPA 2-AC 的「先规划后执行」在哲学上一致，但落地形式是视频生成而非潜空间 MPC。

成绩与争议

官方口径：RoboColiseum（3DGS 重建、与真机拟合 R²≈0.895 的评测平台）四个分项第一——指令跟随 0.8166、空间理解 0.4729、扰动适应 0.6800、通用操作 0.6320；Maker H01 平台上任务成功率大幅领先；单条 20 分钟以上的多任务连续演示。

需要保留的地方：这些均为自报结果，且 RoboColiseum / RoboTwin2.0 / EBench 的评测代码当时仍在 TODO 列表中，第三方复现暂无入口。另外「3.5B」是架构标签，实际序列化权重约 4.12B——这不是造假，但提醒我们论文里的参数量、checkpoint 的 tensor 数、完整推理栈的规模是三件事。

代码与复现

git clone https://github.com/open-gigaai/giga-brain-0
# 环境锁死：Python 3.11.10，giga-datasets / giga-train / giga-models 均为 1.1.0
pip install -r requirements.txt
# 数据用 LeRobot 格式，内置 8 类本体 ID（AgileX / AgiBot G1 / UMI / EgoDex / H01 …）
python train.py --config configs/posttrain_h01.yaml

README 里甚至给了十步 smoke test 的 loss 降幅（抓放置 -51.27%、按按钮 -31.97%）——这种透明度在具身开源项目里罕见，值得肯定。

来源：技术报告（arXiv:2608.15875）、官方博客与公众号、open-gigaai/giga-brain-0 仓库、RoboColiseum 榜单（2026-08）。

什么时候选它：你要研究「世界模型 + 策略」的紧耦合架构，或需要一个数据覆盖广、可直接后训练的开源基座。追求低延迟的产品化场景，建议只用它的 System 1/2。

RDT-1B 是 2024 年最具影响力的开源机器人模型之一：12 亿参数的扩散 Transformer，专门为双臂机器人设计，用统一的动作空间（PhysINT）吸收不同本体的差异，在 46 个数据集、逾百万条 episode 上预训练。

PhysINT：把「物理直觉」编码进动作空间

不同机器人的关节数、连杆长度、相机配置都不一样，直接混合训练会让模型困惑。PhysINT 的做法是：把动作表示统一为「末端执行器位姿 + 夹爪开合 + 本体状态」的物理可解释空间，再通过正/逆运动学映射到具体本体。这样模型学到的「怎么抓」是本体无关的，部署时再做一次映射即可。

扩散式生成的好处是能表达多模态动作分布——同一个任务可以有多条合理轨迹，模型不会因为「平均」而产出不可行的中间动作。这是它比早期确定性策略更稳的原因。

为什么它仍然是重要基线

因为它是「双臂 + 低成本数据」这个组合里最成熟的开源实现。微调成本低（单卡即可）、文档完整、社区有大量 ALOHA 平台的复现记录。在 RoboChallenge 上它只有 28.84 分，但那是因为榜单任务以单臂桌面为主——用错误的分布去评一个双臂模型，本就不公平。

来源：RDT-1B 论文（arXiv:2410.07864）、thu-ml/RDT 仓库、RoboChallenge 快照。

什么时候选它：做双臂协同（叠衣、装配、搬运）、已有 ALOHA 类硬件、想要一个稳定可微调的起点。

具身智能最贵的是数据，而 RoboTwin 2.0 提供了一条「不靠人采」的路：用脚本化的专家策略 + 大规模域随机化，在仿真里批量生成高质量双臂操作轨迹。它既是数据工厂，也是策略竞技场。

「脚本专家」为什么可行

关键洞察是：双臂操作的任务结构高度重复（抓、移、放、开、关），可以被拆成「功能点」的组合——比如「杯子的把手」「抽屉的拉手」是功能点，脚本只需要知道功能点的位置与操作方向，就能生成一条可行轨迹。配合随机化的物体位姿、材质、光照，一套脚本能产出成千上万条不同但合理的演示。

这比「人遥操作」便宜两个数量级，也比「纯 RL 探索」稳定得多——因为脚本天然保证任务成功，不需要奖励工程。

它同时是一个评测场

XPolicyLab 收录了 69 个策略（含 ACT、Diffusion Policy、π0、RDT、OpenVLA 等）的统一评测结果，是目前双臂仿真对比最完整的公共基准之一。使用时要注意：Easy 与 Hard 设置的差距极大（域随机化强度不同），跨论文比较必须确认设置。

代码与复现

git clone https://github.com/Robotwin-Platform/RoboTwin
cd RoboTwin && bash script/install.sh
python script/collect_data.py --task beat_block_hammer --num_episodes 100
python script/eval_policy.py --policy pi0 --task beat_block_hammer

实践建议：先用 50 条/任务做冒烟测试，确认渲染与物理都正常；再用 500—1,000 条/任务做正式训练。数据格式与 LeRobot 兼容，可直接进主流训练管线。

来源：RoboTwin 2.0 论文与 Robotwin-Platform/RoboTwin 仓库、XPolicyLab 结果、数据集说明。

什么时候选它：你要训练双臂操作策略但缺乏真机数据；或者需要一个可控、可复现的评测环境做消融。真机部署前务必做视觉与动力学校准。

「GPT 时刻」这个词被用得太滥，以至于失去了信息量。如果它要有意义，就必须能被证伪：给定一组可测量的条件，我们可以判断它「到了」还是「没到」。这一章给出三道闸门，以及 2026 年的实际位置。

闸门一：成本可负担

判据是「一个新任务从零到可用的边际成本」。2024 年这个数字是「一个博士 + 三个月 + 一台机器人」；2026 年，用 LeRobot + SmolVLA + 50 条演示，一个工程师两周可以做出 60% 成功率的 demo。

但离「可负担」还差一步：从 60% 到 95% 的那段，成本仍然陡峭。需要更多数据、更多场景、更细的失败分析。这一段没有规模效应，是当前商业化的真正瓶颈。

闸门二：数据可闭环

判据是「每周能产出多少条可用于训练的高质量轨迹」。三条路径各有短板：真机遥操作质量高但产能低（一个采集员一天约 100—200 条）；仿真+脚本（RoboTwin）产能高但有 sim2real 差距；世界模型生成（Cosmos / GE-Sim）产能极高但物理可信度不足。

2026 年的实际解法是三层混合：仿真/生成做 90% 的「广度覆盖」，真机做 10% 的「精度校准」，再用少量高质量数据做后训练。这也解释了为什么「世界模型」在 2026 年从研究话题变成了基础设施。

闸门三：评测可复现

这是三道里最弱的一道。第 24 章那张表已经说明问题：同一个模型，LIBERO 97%、真机 8.66。榜单之间不可比、任务定义不统一、成功判定靠人眼——这些都让「进步」难以被测量。

好消息是基础设施正在补齐：RoboChallenge 用真机 + 标准任务，RoboColiseum 用 3DGS 重建把仿真与真机的拟合做到 R²≈0.9，Isaac Lab-Arena 提供统一评测层，EWMBench 给世界模型定了三维指标。但没有一个能同时满足「大规模、真机、可复现、低成本」——这大概是 2027 年最重要的工作。

三条下注路线

路线一：卖铲子（数据与仿真基础设施）。Cosmos、Newton、Genesis、Isaac Lab、RoboTwin 都属于这一类。它们的客户是「所有做具身的人」，收入与行业景气度同向，但抗周期能力强。风险是巨头免费化——Newton 已经交给 Linux 基金会，Genesis 是 Apache-2.0。

路线二：做基座（通用模型）。π、GR00T、GigaBrain、X-VLA 属于这一类。赢家通吃，但门槛极高：需要数万小时数据、数百张 GPU、以及一个能持续产数据的真机车队。开源是获取生态的手段，不是商业模式。

路线三：垂直闭环（场景 + 本体 + 模型）。仓储、工业装配、家庭服务。这一路的赢家往往不是模型最强的，而是最懂场景容错边界的：知道哪些错误可以接受、哪些必须硬件兜底。

一份清醒

• 别把 demo 当能力。20 分钟连续演示很震撼，但它通常经过多次重试与场景选择。问三个问题：失败率多少？换房间还行吗？连续跑 8 小时会怎样？
• 别把榜单当结论。榜单测的是「在它定义的分布上」，不是「在你的场景里」。用自己的 20 条真实数据做验收，比看一百个榜单有用。
• 别忽视「无聊的部分」。标定、时间同步、相机曝光、急停、日志——这些不产生论文，但决定系统能不能上线。
• 别低估数据许可。2026 年多个头部模型权重不可商用；数据集也有地域与用途限制。选型第一件事是读 LICENSE。

回到书名。预测与行动，是智能的两端：预测让系统看见未来，行动让系统改变未来。过去三年，我们分别在这两端取得了可用的工具；接下来要做的，是把它们接成一条闭环，并且让这条闭环的成本低到可以被复制。这件事没有单一 breakthrough，只有一万个工程细节。而这，恰恰是好消息——因为工程细节是可以被学会的。

A1　三十个项目速查

* TiRex-2 为激活参数。许可一栏只区分「明确可商用」「受限（非商用/研究）」「需阅读条款」三类，具体条款请以仓库 LICENSE 与模型卡为准。

A2　硬件分档：你需要什么卡

A3　常见错误清单

• 归一化统计量不匹配。微调时复用预训练的 norm stats，或至少检查 q01/q99；某个关节几乎不动会让 std 趋零，归一化后出现 50 倍的异常值。
• 动作空间与频率不一致。数据集是 30Hz、本体是 50Hz，直接训练会让模型学到「慢动作」。
• 相机键名对不上。LeRobot 用 observation.images.*，自定义数据常写成 cam_high，转换时静默丢帧。
• 指令单一。所有 episode 用同一句话，模型会背指令而不是理解语义。
• 仿真成功判定过松。物体掉到桌上也算成功，分数虚高，真机立刻暴露。
• 评测集泄漏。训练数据里混进了测试任务，指标好看但没有意义。
• 忽略版本锁定。openpi、GigaBrain、Sundial 都对依赖版本敏感，别用最新的 transformers 硬跑。

A4　术语表

A5　数据核对说明（重要）

本书所有数字都尽量追溯到一手来源，但仍有三类不确定性，请在使用时保持警惕：

1. 时效性。定稿于 2026-11-01。这个领域三个月就会变一轮，尤其是版本号、榜单名次、许可条款。请以官方仓库与模型卡的当日状态为准。
2. 口径差异。「参数量」可能是总参数或激活参数（TiRex-2、Time-MoE）；「GIFT-Eval 分数」会随提交时间与结果文件版本变化；「成功率」可能来自仿真、真机或自建平台，不可直接比较。
3. 自报结果。GigaBrain-0.7 的 RoboColiseum 四项第一、Alpamayo-R1 的性能提升、Kronos 的 RankIC 领先，均为团队自报，第三方复现入口有限。书中已逐处标注「官方口径 / 自报」。

几处已知的、书中做了保守处理的地方，一并列出以免误导：

• TimesFM 3.0 的上下文长度未见官方明确说明，书中沿用 16,384（与 2.5 一致），未单独标注为 3.0 的新指标。
• Newton 1.0 的代码许可常被写作 Apache-2.0，实际以 Linux 基金会项目页面为准；书中写作「开源（基金会）」以留出余地。
• Genie Envisioner 的参数量官方未给出统一口径，书中只写数据规模与延迟，不写参数。
• RDT-2 已有后续工作，但其开源状态与规格未被完整确认，书中以 RDT-1B 为主体，仅提及存在后续版本。
• RoboTwin 2.0 的论文编号与许可细节以仓库为准，书中未引用具体 arXiv 号。

如果你发现任何一处与官方不符，欢迎以官方仓库为准直接修正——这也是本书希望传递的态度：在这个领域，唯一可靠的权威是代码与权重本身。