JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告定义视觉驱动的交互模型范式，开源模型权重、秒级对齐数据构造、继续训练与GRPO强化学习配方，并发布含WebRTC/RTSP接入、可插拔ASR/TTS与背景桥接的完整部署系统，含产品对照人工评测、SVI-Bench与标准视频基准结果。
关键要点
- 模型每秒对连续视觉流在发言、保持沉默或委托异步背景模型三种动作中择一。
- 交互数据由逾4M条秒级对齐流片段构成，并按六大家族组织。
- 六类日常流场景共58个案例中，相对Doubao应用内视频通话助手整体偏好胜率为77.6%。
- 同协议相对Gemini应用内视频通话助手整体偏好胜率为87.9%。
- 在26项公开视频基准的非加权平均上得57.30，为所列可比开源模型中最高。
- 部署系统在vLLM上可支撑超过两小时连续视频，并保持亚秒级端到端延迟。