提出 SpaRC 框架与 SpaRP 数据集,显示当前 SOTA LLM 空间推理整体偏弱但随规模与微调可提升。
- 空间推理刻画框架 SpaRC 与 SpaRP 数据集
- 系统评估多种 SOTA LLM 的空间推理表现
- 微调可显著提升大小模型的空间推理 F1
提出可插拔 LAE 框架,在预训练 3D-aware GAN 潜空间用文本驱动实现多姿态属性编辑并保持视角一致。
- 文本驱动的可学习 style token 潜空间属性编辑器 LAE
- 方向对比损失与 style token 损失支持多属性训练
- 3D 身份与姿态保持损失保证跨视角一致与身份保留
发起 URGENT 挑战,统一去噪/去混响等子任务并给出多样评测与12项指标基线。
- 将语音增强扩展为去噪、去混响、带宽扩展、去削波等子任务
- 提出单模型统一框架以兼容现有 SE 方法
- 汇总跨域公开数据并基于生成/判别法建立12项指标基线
将大教师模型蒸馏为更小阿拉伯语 ASR 学生模型,并发布五方言人工标注评测集。
- 面向阿拉伯语 ASR 的鲁棒知识蒸馏与高效学生模型
- 覆盖五种代表性不足方言的新人工标注评测集
- 在标准基准与新方言数据上系统对比现有多语 ASR
在 Tortoise 基础上改进的多语言零样本 TTS,支持16语训练并在多数语言达 SOTA。
- 公开 XTTS,支持多语言训练、声线克隆与更快训推
- 在16种语言上训练并在多数语言取得 SOTA
- 缓解现有 ZS-TTS 仅覆盖少量高/中资源语种的局限
提出 LS-Transducer-SST,用 AIF 机制流式决定何时输出译文,在质量—时延权衡上优于常见方法。
- 标签同步 Transducer 同时具备流式与重排序能力
- 可解码或训练阶段控制的时延可控 AIF
- 分块增量联合解码扩展搜索空间
首个带人工标注的文生图 prompt 与 T2I 检索 query 难度联合基准,超1万条 query。
- 构建人工标注的文生图 prompt 生成表现数据集
- 扩展至 T2I 检索并建立 prompt/query 联合性能预测基准
- 评估多种生成前后性能预测器并提供公开基线
轻量 U-Net 语音增强网络 MUSE 引入 MET Transformer,在 VoiceBank+DEMAND 上以约 0.51M 参数取得有竞争力效果。
- Multi-path Enhanced Taylor Transformer 与可变形嵌入
- 融合通道与空间注意力分支的 MET 块设计
- 显著降低训练与部署成本的同时保持竞争性能
无状态 RNN-T 结合 HuBERT 与 pitch 嵌入做普通话 MDD,仅用母语数据训练在非母语场景优于 SOTA 基线。
- Pitch Fusion Block 将 pitch 嵌入融入 HuBERT 特征
- 端到端无状态 RNN-T 缓解两阶段 MDD 信息断层
- 仅母语数据训练在非母语场景 PER 与 FAR 均有提升
发布 PMC 欠定义数学题基准,提出免训练 VCSEARCH 用形式语言检测不可解并提升识别率。
- 构建含5000+验证题的 PMC 欠定义/矛盾条件数学推理基准
- 提出 Variable-Constraint Search 形式化检测欠定义问题
- 在多种 LLM 上将不可解题识别准确率至少提升12%
通过对比原始与编解码重合成音频的 ASV 分数差异检测对抗样本,Descript-audio-codec 检测率最优。
- 利用神经编解码器去除冗余扰动保留本质信息的检测思路
- 系统比较 15 种开源神经编解码器
- 单模型检测优于多种 SOTA 及集成方法
解码阶段用 kNN 从数据存储检索正确发音 token,并以 x-vector 调节插值,减轻说话人迁移退化。
- 提出 Speaker-Smoothed kNN,在解码时检索预构建 datastore 改善输出
- 用 x-vector 动态调整 kNN 插值以缓解目标说话人数据稀疏
- 在 KeSpeech、MagicData 上可比微调且全域场景 CER 达 SOTA
基于 Wav2Vec2 的音素分类评估头颈癌患者病理语音,优于 CNN 并与主观感知相关。
- 提出 Wav2Vec2 音素分类框架用于 HNC 病理语音分析
- 系统比较预训练数据、模型规模与微调设置的影响
- Wav2Vec2 优于既有 CNN 方案且与感知测度相关
大规模评估基于 SSL 的 SER 性别偏见,发现数据情感分布与上游模型对偏见影响各异。
- 从上游模型与数据两视角系统评估 SER 性别偏见
- 揭示 CPC、XLS-R 等 SSL 模型存在显著偏见
- 表明训练数据性别—情感分布差异显著影响偏见
揭示主流 SSL 语音模型习得社会偏见,并表明行剪枝与宽浅结构等压缩正则可缓解偏见。
- 证明 prevalent SSL 语音模型会无意习得带社会群体差异的关联
- 分析架构、规模与训练方式对偏见传播的影响
- 探索以模型压缩类正则(如 row-pruning)去偏的有效性