标签
论文提出了 EgoCaptioner,一个从粗到细的第一人称视频字幕生成框架,将视频级概览与带时间戳、感知自适应的步骤叙述相结合,并使用基于事实与时间奖励的 GRPO 进行训练,在五个第一人称基准上取得领先结果,在 PhysCapBench 上超越了 Gemini 3.1 Pro 等专有基线模型。
Temporal Context Routing通过将脚本时间映射到共享的视频-音频时间轴,提升了联合音视频生成中脚本对齐的时间准确性,减少了镜头边界和对话的错误。
EgoCS-400K 是一个大规模的第一人称反恐精英数据集,包含超过40万段第一人称视频和10,000小时的游戏玩法,为世界模型研究提供了时间对齐的视频-动作-语言轨迹。