Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 MLSys 论文，介绍统一模块化细粒度 LLM 性能仿真器 Charon 的设计，含多模型多配置实验及推理部署对照验证。
关键要点
- 大规模 LLM 训练与推理部署因并行策略、系统优化与硬件配置的设计空间复杂而极具挑战。
- Charon 为 unified、modular、fine-grained 仿真器，用于准确预测 LLM 性能。
- 实验显示 Charon 在不同模型与配置下整体预测误差 consistently under 5.35%。
- 大规模 GPU 集群训练场景下预测误差 even under 3.74%。
- 实际推理部署案例中，Charon 发现的配置相较 engineering-tuned baseline 提升了系统吞吐量。