JoyAI-LLM Flash: Advancing Mid-Scale LLMs with Token Efficiency
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告描述 MoE 中端规模模型的架构与四阶段预训练、Web/Code/PDF/合成数据管线，以及 SFT、DPO 与 FiberPO 强化学习后训练，并涵盖 Megatron 训练栈、量化感知训练与多 token 预测推理及 Hugging Face 权重发布。
关键要点
- JoyAI-LLM Flash 总参数 48B，每次前向 pass 仅激活 2.7B 参数（含 embedding 时为 3.2B）。
- 模型在超过 20 trillion tokens 的文本语料上预训练，预训练课程分为基础、代码数学增强、中期与长上下文四阶段。
- 后训练引入 FiberPO，将 trust-region 维护分解为轨迹级全局分量与 token 级局部分量，用于 LLM 策略优化。
- 纯注意力架构下采用 learned MLP router，从 256 个 routed experts 中激活 8 个，并始终激活 1 个 shared expert。
- 8K 输入/16K 输出设定下，相对 GLM-4.7-Flash 与 Qwen3-30B-A3B 推理分别取得 1.45× 与 1.07× 加速。
- MTP 相对非 MTP counterpart 的推理加速为 1.87×。