CL4D: Contrastive Language-4D Pretraining for Vision-Language Reasoning in Dynamic Scenes(在新窗口打开)
在动态点云上预训练 4D 视觉编码器并构建 4DVLM,在 4D 人体动作基准上显著优于先前方法与前沿视频 VLM。
- 提出 CL4D,直接在动态点云上学习并与文本对齐的 4D 视觉基础编码器
- 构建 4DVLM,在 4D 几何表示条件下生成语言,不依赖 2D 图像或视频
- 发布 DynAction4D 数据集,涵盖多样人体动作与物体交互场景