LongCat-Next: Lexicalizing Modalities as Discrete Tokens
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 论文，阐述 DiNA 范式、dNaViT 与音频 RVQ 分词器及 MoE 解码骨干，覆盖视觉理解、图像生成与语音等 benchmark 评测，并开源 LongCat-Next 与分词器。
关键要点
- DiNA 在共享离散空间表示多模态信息，使文本、视觉与音频在同一 next-token 自回归目标下建模。
- dNaViT 对连续视觉信号做层次离散 token 化，支持任意分辨率编解码，压缩比最高达 28×。
- LongCat-Next 基于 LongCat-Flash-Lite A3B 骨干，总规模 68.5B，训练规模超过 2T tokens。
- 在 MathVista 与 MathVision 上分别为 83.1 与 64.7，文中称在对比模型中为最高。
- 音频分词器经 Whisper 编码与 RVQ 量化，将波形压缩为 12.5 Hz 离散 token。
- 团队开源 LongCat-Next 及其 tokenizers，并给出 GitHub 与 Hugging Face 发布页。