Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning(在新窗口打开)
用多模态检索作推理信号,通过 CRS/CQA 精炼 caption,缓解幻觉与遗漏。
- 提出检索引导的 Re³Cap 策略,无需额外标注即可增强图像描述
- 设计 Caption Refinement Suggester 与 Caption Quality Assessor 识别幻觉与遗漏
- 在 COCO-LN500 关系推理上相对 GRPO 平均提升 8.64%