Olmo 3

2026-11-02阅读约 1 分钟AI 生成已核查

本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。

Allen Institute for AI报告发布于 2025-12-15arXiv推理训练基础设施

涉及模型Olmo 3Olmo 3.1 Think 32BOlmo 3 Think 32BOlmo 3 BaseQwen 3 32B

收录理由

该报告为 arXiv 技术报告，披露 Base、Think、Instruct、RL-Zero 全流程、Dolma 与 Dolci 数据配方、OlmoBaseEval 与 OlmoRL，并开放中间 checkpoint 与训练数据处理代码。

Olmo 3 为 7B 与 32B 规模的全开放语言与 thinking 模型家族，面向长上下文推理、函数调用、编码、指令跟随、对话与知识回忆。
发布提供完整 model flow，涵盖各训练阶段、checkpoint、数据点与构建依赖，可在流程任意阶段介入定制。
Base 训练含预训练至多 5.9T tokens、中期训练 100 billion tokens，及长上下文扩展（7B 为 50B、32B 为 100B tokens）。
预训练使用 Dolma 3 Mix；并开放各阶段数据混合、源数据池及每阶段结束时的中间 checkpoint 与最终权重。
Olmo 3 Think 通过 SFT、DPO 与 RLVR 学习先输出结构化 thinking trace 再给出答案；RL 侧改进带来约 4x 训练加速。
在 dedicated 1024 H100 集群上，从开始训练到 Olmo 3 Think 32B checkpoint 评估，总 wall-clock 约 56 天。