WASD: Wasserstein-based Knowledge Distillation for Large Language Models(在新窗口打开)
用嵌入代价矩阵的 Wasserstein/Sinkhorn 距离做 token 级语义对齐蒸馏,多模型多任务上稳定优于传统 KD。
- WASD 在词表分布对齐中显式利用 token embedding 语义信息
- Sinkhorn 散度与梯度等价目标,无需额外网络即可高效优化
- 在指令跟随、数学推理与代码生成等任务上验证一致增益
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新:2026-10-16 13:30
这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。
共 10 篇
用嵌入代价矩阵的 Wasserstein/Sinkhorn 距离做 token 级语义对齐蒸馏,多模型多任务上稳定优于传统 KD。
提出 SAG,用门控机制按步决定是否调用 critique,在 ALFWorld 等任务上兼顾成功率与 token 成本。
本体对齐的对象、空间与关系符号表示配合 OntoPlan Agent,在多规模室内任务上成功率与 token 效率显著优于基线。
Dual-FDM 在频域用 mask 解耦定制参考与风格/颜色参考,同时处理定制风格迁移与颜色风格迁移。
VLM 推断贴合约束并生成场景条件物体,再 3D 重建与几何拟合,提升空间关系与支持成功率。
Examiner 出题、Reasoner 多轮证据推理,受控累积临时与持久知识,在五个医疗基准上优于自进化基线。
提出 FoG 前瞻式证据检索框架,缓解 KBQA 中逐跳剪枝的短视问题,在 CWQ 等基准上达 SOTA。
BAR 在质量标注的证据图上 plan-navigate-verify,兼顾预算、引用精度与 MIMIC 上风险预测表现。
系统比较 QA 幻觉自动标注策略,揭示参考忠实 vs 事实正确准则错配及与人标的大量分歧。
提出 LipDA,联合 LipSync 伪造检测与生成源归因,利用唇—头生物耦合不一致,检测与归因准确率约 97%。
没有符合条件的论文。