Kwai Keye-VL-2.0 Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为快手 Keye 团队的多模态技术报告，说明 MoE 架构、GQA 与 DSA 长上下文设计、四阶段预训练与 MOPD 后训练及 Video-RL，含视频与智能体相关基准评测与模型检查点开源信息。
关键要点
- 该模型将 DeepSeek Sparse Attention 适配于基于 GQA 的多模态架构，实现无损失 256K 上下文处理。
- Keye-VL-2.0 采用 30-billion-parameter 的 MoE 基础架构，推理时仅激活 3 billion 参数。
- 后训练采用 Cross-Modal Multi-Teacher On-Policy Distillation，并配合 Context-RL 与 Video-RL。
- LongVideoBench 评测得分为 74.1。
- 预训练 Stage 3 将最大上下文扩展至 256K，视频训练最长时长为 2 小时。
- Video RL 在约 31K 条视频样本上用 GSPO 训练，并冻结视觉编码器与视觉语言投影层。