在大规模动作轨迹上训练 VQ action tokenizer,零样本适配多下游任务,长时域真实机器人任务成功率最高约提升 30%。
- 迄今最大规模动作轨迹数据上构建 VQ action tokenizer,推理更快、动作更平滑连贯
- 发现合成与真实轨迹域差距小,可大规模用合成数据训练而不损真实表现
- 仿真与真实平台验证,数据量增加时下游性能显著提升
仅增六个空间 visual token,经卷积 projector 与 cross-attention 融合局部关系,LoRA 微调后在多基准上超越 LLaVA-1.5 且延迟几乎不变。
- 卷积 projector 从 ViT patch 得到空间 token,模拟中心到全局与抽象到具体两种序
- 提供 Cropping 与 Pooling 两变体分别强化细节与全局语义
- 多模态 benchmark 显著提升,推理延迟与 LLaVA-1.5 近乎相同
比较 Normalizing Flow、CFM、Rectified Flow 等随机方法与确定性基线,在显式韵律参数建模上达到接近人类的自然度。
- 系统评估随机方法在 pitch/energy/duration 韵律建模上的效果
- 主客观实验表明随机方法可捕获人类语音变异性,韵律自然度可比人类
- 通过采样温度提供额外可控性
提出无需训练的 ONLY 解码,单次前向加单层干预缓解 LVLM 幻觉,多基准优于现有方法且适合实时部署。
- 单次查询、单层干预的训练-free 解码,避免对比解码的多轮查询开销
- 用 text-to-visual entropy ratio 选择性放大关键 token 的文本信息
- 多基准上稳定优于 SOTA,实现与计算成本极低
提出 MoNE,按访问频率与输出方差剪枝冗余 expert 并以轻量 novice 替代,在多种设置下稳定压缩 MoE LLM。
- 提出 Mixture-of-Novices-and-Experts,用 novice 无偏估计被剪 expert 输出
- 在架构、校准数据与样本规模三维度上比基线更稳、更优
- 25% 剪枝下九任务零样本平均 accuracy 最多领先基线 2.72
分析 LLM 翻译在风格与文化规范上的偏差,提出 RASTA 检索增强风格对齐以改善跨文化传达。
- 刻画 LLM 翻译风格失败:偏向中性、非西方语言更差
- 提出 RASTA,用学习到的风格概念引导 LLM 对齐文化沟通规范
- 缓解礼貌等风格在翻译中的丢失问题
多智能体 LLM 在 personal moral dilemma 讨论中出现类似人类的 Utilitarian Boost,机制与规范敏感度/ impartiality 相关。
- 六模型在 Solo vs Group 道德困境上系统对比,群组更接受为多数人受益的规范违反
- 揭示 LLM 群组 Boost 机制:规范敏感度降低或 impartiality 增强,与人类不同
- 讨论对 AI alignment、多智能体设计与人工道德推理的启示
研究日/中语与英语训练 SAS 的语言不匹配,通过目标语微调与多语 SSL 提升可懂度并保持匿名性。
- 分析 SSL 说话人匿名在日语、普通话上的语言不匹配问题
- 验证目标语微调 content encoder 可提升可懂度且保隐私
- 多语 SSL 预训练扩展 SAS 跨语言可用性
发布自然学习场景视频数据集 RAER,提出 CLIP-CAER 融合表情与上下文(如看手机、读书),优于仅针对基本情绪的 FER 方法。
- RAER:约 2700 片段、约 140 名学生,覆盖课堂/图书馆等多场景
- 双套学业情绪标签、多标注者设计提升一致性
- CLIP 可学习文本 prompt 融合视频中的表情与上下文线索
在 SpeechWellness Challenge 中以 LLM 为主做特征提取,结合声学/语义特征,测试集准确率 74% 获 SW1 第一。
- 将 LLM 作为自杀风险语音分析的主要特征提取工具
- 融合常规声学与语义特征用于青少年风险识别
- SW1 测试集 74% 准确率,展示 LLM 分析语音的潜力