Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match(在新窗口打开)
FLy 以熵门控与延迟窗口放宽 exact-match 验证,免训练组合任意 draft-target,OOD 仍有效。
- 提出训练-free 的松散推测解码,利用目标模型自校正判断语义有效草稿
- 两级机制:熵级门控与 token 级延迟窗口区分真错与同义表述
- 多级加速 draft 与 target,Llama-3.1-70B 平均约 2.81x 加速且保留 >99% 精度