Ministral 3
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 技术报告，介绍 Ministral 3 系列架构、Cascade Distillation 预训练与 SFT/ODPO/GRPO 后训练流程，含多尺寸与多模态能力说明及基准评测，模型与权重开源。
关键要点
- Ministral 3 为三种参数规模 3B、8B、14B 的稠密模型族，每种规模含 base、instruct、reasoning 三种变体，共 9 个模型，Apache 2.0 开源。
- 预训练采用 Cascade Distillation：自 Mistral Small 3.1 迭代剪枝与 logit 蒸馏得到子模型，短上下文 16384 再扩展至 262144。
- 各规模 base 经 SFT 与 Online Direct Preference Optimization 得到 Instruct；reasoning 变体自长上下文预训练 checkpoint 经 SFT w/ CoT、GRPO、ODPO 得到。
- 14B Base 在 MATH 等预训练基准上与 Qwen 3 14B、Gemma 3 12B 可比；14B Instruct 在 Arena Hard、WildBench 等后训练基准上有报告数值。
- 所有模型配备 410M 参数 ViT 视觉编码器（自 Mistral Small 3.1 复制并冻结），词表 131K，上下文最长 256k（reasoning 为 128k）。
- 预训练 ablation 显示：预训练阶段用 Mistral Small 3.1 作 teacher 优于更强 Mistral Medium 3；后训练阶段更强 teacher 更有利。