Recycler: Cost-Free Latent Reasoning via Hidden State Recycling
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告提出 Recycler 架构与 hidden state 回收方法，给出预训练、监督微调、续训与强化学习的训练与推理流程，并在推理与数学任务上进行实验，发表于 arXiv。
关键要点
- 带约 2% backbone 参数的 MTP head 可达到与约为 standalone 模型 25% 规模相当的损失。
- Recycler 将 embedding 与上一 token 的 hidden state 经轻量 adapter 喂入下一步，解码开销可忽略。
- 训练与推理流程覆盖 pretraining、SFT、continued pretraining 与 RL。
- 实验在推理与数学上参数效率高；较晚阶段引入 Recycler 仍有效，可优于参数量 2–3 倍的模型。
- 标准自回归解码 successive steps 仅通过采样离散 token 连接，丢弃先前 hidden state 中的连续语义。