Metis-SPECS: Decoupling Multimodal Learning via Self-distilled Preference-based Cold Start(在新窗口打开)
SPECS 用自蒸馏偏好对做冷启动,再接入可验证奖励 RL,解耦表面形式与深度推理,提升多模态 benchmark。
- 自蒸馏生成 introspective 偏好对,无需大教师或人工标注
- 偏好训练侧重格式/结构等可迁移浅层准则,再 hand off 给 RL
- 引入 Generalization Factor 量化冷启动泛化,多 benchmark 一致增益