系统研究 LiDAR 世界模型跨域迁移,并提出潜条件流匹配框架提升压缩率与效率。
- 首次系统评估室外/室内、稀疏/稠密束、非语义/语义等跨域迁移能力
- 提出 latent conditional flow matching,以更少数据与更高压缩达 SOTA 重建
- 在语义占据预测等任务上以显著更高 FPS 达到或超过先前 SOTA
流式多说话人 ASR 无需显式说话人查询,经自说话人自适应注入说话人核,重叠语音 SOTA。
- 提出无需 enrollment 的自说话人自适应流式多说话人 ASR
- 用说话人监督激活生成核并注入编码器层实现即时适配
- 离线与流式场景均达 SOTA,缓解严重语音重叠
发布真实人机交接数据集 DexH2R,提出 DynamicGrasp 并对比多种抓取策略。
- 构建含多样物体、动态运动与丰富传感数据的真实 DexH2R 数据集
- 以遥操作采集使灵巧手动作更贴近人类行为与习惯
- 提出 DynamicGrasp 并系统评测自回归与 diffusion policy 等方法
Flash Memory 双记忆模块聚合长时序与空间细节,长视频 MLLM 推理延迟显著降低且 benchmark 领先。
- 提出 Flash-VStream,面向极长视频与实时问答
- 设计 Flash Memory:低容量上下文记忆建模信息密度,高容量增强记忆检索空间细节
- 在 EgoSchema、MLVU、LVBench 等长视频与综合视频 benchmark 上 SOTA 且更高效
无人类监督的 Critic-Discernment 自对弈,增强 LLM 对推理过程的理解与纠错。
- 设计 CDG:证明者面对协助或误导性批评并保持/修正答案
- 在无更强模型监督下用自对弈提升推理理性
- 数学推理、逐步纠错、自校正与长链推理上显著增益
用拼图新任务对比 SFT 与 RFT:RFT 学得更慢但更少灾难性遗忘,数据分布是关键。
- 以预训练语料中缺失的拼图任务系统比较 SFT 与 RFT 对先验知识的影响
- 从更新幅度与方向分析 RFT 如何弱干扰原有概率 landscape
- 表明用 RFT 风格 rollout 训练可使 SFT 更快学任务同时更好保留先验知识
模型与自身变体多轮零和自博弈在线 RL,无需人工轨迹即可提升多 benchmark 推理最高约 10%。
- SPIRAL 自博弈框架:对抗持续变强的自身版本,自动生成课程
- 实现在线多轮多智能体 LLM RL 与 role-conditioned advantage estimation
- 多游戏联合训练推理能力可迁移,优于 2.5 万条专家博弈轨迹 SFT
用互信息约束学习语音嵌入,削弱敏感属性关联并保留任务信息。
- 提出 WavShape 信息论框架,兼顾公平、隐私与任务信息
- 用 Donsker-Varadhan 互信息估计指导编码器过滤敏感属性
- 三数据集上敏感属性 MI 最多降 81%,任务信息保留约 97%
DyME 每步在 SFT 记忆与 RLVR 探索间动态切换,配合视觉监督提升小 VLM 思考能力。
- 提出 DyME:优化步动态选择 SFT 记忆或 RLVR 探索以稳定小模型学习
- 引入视觉 checker/refiner 提供图像 grounded 的动态视觉监督
- 多领域实验表明 DyME 可可靠赋予 SVLM 思考能力并显著提分
提出 UrbanLLaVA,统一处理四类城市多模态数据,在三城实验上优于通用 MLLM。
- 整理覆盖单模态与跨模态、由局部到全局的城市指令数据集
- 多阶段训练将空间推理增强与领域知识学习解耦
- 扩展城市研究基准以评估 MLLM 在多样城市任务上的表现
用首步拒绝-肯定 logit 差度量对齐安全裕度,并提出低开销 logit-gap steering 发现短后缀绕过对齐。
- 定义 refusal-affirmation logit gap 作为单 prompt 安全裕度标量
- 提出仅需前向传播的 logit-gap steering,高效发现分布内短后缀
- 显示现有对齐裕度可能较薄,且 perplexity 过滤对这类后缀效果有限
NavMorph 用潜变量世界模型与 Contextual Evolution Memory 提升 VLN-CE 泛化与在线适应。
- 以紧凑潜表示建模环境 dynamics,支持预见式规划与策略 refinement
- 引入 Contextual Evolution Memory,结合场景上下文实现在线适应
- 在主流 VLN-CE 基准上取得明显提升
SoMi 多智能体互动数据上的 ToM 基准,一/三人称评测显示 LVLM 显著弱于人类。
- 提出具身多智能体复杂社交场景下的多视角 ToM 基准 SoMi-ToM
- 支持第一人称实时状态推断与第三人称目标行为推断两级评测
- 构建专家标注 MCQ 数据集并系统对比人类与 SOTA LVLM
以 LLM 编排地理视觉 API 与城市尺度 GCLF,实现自然语言驱动的组合式 3D 地理推理。
- 提出含分层 3D 模型与地理信息的 Geography-aware City-scale 3D Language Field
- 设计 Geographical Vision APIs 供 LLM 动态组合以完成地理视觉任务
- 发布 GeoEval3D 基准(952 组问答,含 grounding、空间推理等五类任务)
自训练扩充数据并适配不完整片段,Whisper 在 SAP Challenge 长句 DSR 获第二。
- 针对 SAP 长句构音障碍数据设计 Whisper 自训练流程
- 缓解推理中不完整语音片段带来的识别问题
- SAP Challenge 词错误率与语义分均获第二名
LaZSL 用最优传输做局部视觉-属性对齐,零样本分类更可解释且无需额外训练。
- 提出 LaZSL,在预训练 VLM 上实现局部视觉-语义对齐
- 用最优传输关联视觉区域与离散属性,提供可解释相似度
- 在准确率与域泛化上优于整体图像-类别词匹配式 ZSL
MedRegion-CT 用区域 SlowFast 分词、伪 mask 与 lesion 结构化 prompt 生成 CT 报告,SOTA。
- 提出 Region-based SlowFast Tokenizer 联合全局与区域临床语义
- 伪 mask 引导关注诊断相关解剖区域, lesion 量化信息结构化入 prompt
- 多机构结构化报告 benchmark 上语言与临床准确性达 SOTA
PathDiff 在非配对 mask-文本下统一条件空间生成病理图,提升保真度与对齐并利于下游分割与分类。
- 在公开数据缺乏配对 mask-文本时,将两模态融入统一扩散条件空间
- 实现对结构与语义特征的精细控制,生成高质量病理图像
- 增强数据增广效果,优于现有方法并利于核分割与分类等下游任务
将对比式 VLM reinterpret 为密度比估计器,用于重要性权重与 KL 及数据筛选。
- 系统阐释对比目标与联合/边缘分布 log 密度比的对应关系
- 提出仅需额外 prompt 的重要性权重学习,F1 最高提升 7 点
- 基于 CLIP 密度比估计条件 KL,并给出 KL 引导的数据 curation
提出 Vision-Centric Transformer,用视觉 query 迭代聚合音视频信息,在 AVSBench 上达到 SOTA。
- 提出 VCT 框架,以视觉 query 缓解混合音频歧义并增强密集预测
- 设计 PPQG 模块,通过音频原型提示与像素上下文分组生成语义与细节丰富的 query
- 在 AVSBench 三个子集上取得新的最优性能
在 CFA Level III 上对 23 个 SOTA LLM 做选择题与论述评测,领先模型综合得分约 79% 量级。
- 构建 CFA Level III 基准,覆盖 MCQ 与论述及多种 prompting
- 系统比较 23 个前沿 LLM 的高风险金融推理能力
- 为机构选型与部署成本、与专业基准对比提供实证参考
ALP 结构化语义推理结合文本/视觉/URL 多模态分析,钓鱼检测 F1 达 0.93。
- 提出 few-shot Adaptive Linguistic Prompting 分解欺骗性语言模式
- 统一整合文本、视觉与 URL 特征的多模态钓鱼检测流程
- 在 GPT-4o、Gemini 等 MLLM 上显著优于传统方法