Hunyuan-A13B Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
arXiv技术报告完整披露MoE架构、20T语料预训练、分阶段SFT与大规模RL、双模式CoT及多域公开与内部基准评测，方法与训练评测证据充分。
关键要点
- MoE总参数800亿、每次推理仅激活130亿；1个共享专家与64个细粒度专家，同时激活8个非共享专家。
- 预训练约20T token，含约2500亿高质量STEM语料；上下文经训练扩展至256K。
- 后训练含推理向SFT/RL（GRPO，约15万样本）与全场景SFT/RL；推理RL支持36语言代码沙箱、超1000并发执行。
- 双模式CoT：/no_think快思考与/think慢思考，默认可选慢思考以平衡延迟与多步推理。
- 慢思考模式AIME2024达87.3；Agent侧BFCL v3为78.3、ComplexFuncBench为61.2；batch32吞吐约1981.99 tokens/s（A16W16C16）。
- 相对Hunyuan-Large以约1/4激活参数在14项基准中12项更优；长上下文PenguinScrolls 87.7、LongBench-v2 55.0、RULER QA均值76.7。