K-EXAONE Technical Report Journey to Frontier-Level Performance of Foundation Models
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 LG AI Research 的 K-EXAONE 技术报告，说明 MoE 架构、分词器与三阶段预训练、上下文扩展及 SFT、RL 与偏好学习后训练流程，并在多类 benchmark 上给出评测设置与结果。
关键要点
- K-EXAONE 采用细粒度稀疏 MoE，含 128 个专家，每 token 激活 top-8 路由专家及额外共享专家。
- 总参数量 236B，激活约 23B。
- 模型最大上下文 256K；基座预训练 8K，再分两阶段扩展至 32K 与 256K，并使用 Rehearsal、合成推理与长文档等数据。
- 预训练数据规模为 11T tokens。
- K-EXAONE 采用 FP8 原生训练，并使用 Muon 优化器与 Warmup–Stable–Decay（WSD）学习率调度。
- 长上下文理解类 benchmark 上下文长度设为 160K，其余 benchmark 为 128K。