标签
Meta 一篇新论文提出了 ProPerMem，一个为期一年的第一人称视频记忆基准（约 618K tokens），显示主动式 AI 助手主要败在决定何时开口，而非说什么——像 GPT-5.3-Chat 这样的前沿模型在提供神谕证据时得分 96%，但当自行选择时机时骤降至 15-38%。
ProPerAgent：提出 ProPerMem——一个将第一人称视角视频与长达一年的用户记忆相结合、用于记忆驱动主动式助手评估的基准；以及 ProPerAgent——一种基于图结构组织记忆的框架，通过强化学习后训练将严格准确率从不足10%提升至42.4%，表明内容与时机对于主动式AI助手而言均不可或缺。
ScaleNav通过在互联网第一人称视频上预训练目标导向视觉动态，结合动作对齐与联合微调，实现语言条件下的局部导航，在仿真与真实四足机器人部署上取得高成功率并超越基线。
该论文提出 HumanVerse——一个500小时的开放世界第一视角人体全身操作数据集，以及基于此训练的人形基础模型 λ_0，实现了无需目标任务机器人演示的零样本迁移到 Unitree G1，在 SIMPLE 上达到 90.0% 成功率。
TouchScale 引入了一个 500 小时的人类视觉-触觉交互数据集，使用统一的可穿戴设备同步采集 egocentric RGB-D 视频、手腕视频与全手双触觉测量，用于视觉-触觉预训练和机器人操作策略学习，在零样本触觉预测和真实机器人操作成功率上均取得显著提升。
Preload（YC F26）宣布推出用于机器人操作、VLA 和世界模型的同步第一视角视频、EMG 与触觉数据采集方案，提供可规模化的一站式机器人数据采集能力。
EgoTools 引入了一个 100 小时的第一人称工具使用语料库和一个包含 1,000 个问题的诊断性基准测试，表明当前的多模态模型（例如 Gemini-3.1-Pro 在感知与对齐任务上得分为 51.7%）在以工具为中心的具身推理方面仍然存在困难，而使用该数据对 Qwen3-VL-8B 进行微调后，准确率从 50.0% 提升至 60.9%。
MemLife 引入了一种面向长期第一人称视频的多模态记忆系统，它构建以实体为锚点的文本片段（text episodes），并通过基于时间索引的 agentic reader 进行检索。在长期时序基准测试中，其性能较免训练基线提升了 4.6%–12.0%。此外，名为 MemOpt 的强化学习框架进一步优化了记忆写入器的忠实性与可检索性，带来稳定 2.7%–5.0% 的性能提升。
InfiniHand 是一个端到端的流式框架，用于从自我中心视频进行世界空间手部运动估计，联合估计手部参数、相机轨迹和位置，以减少错误并提高性能，超越最先进的基线方法。
CapMem 是一个用于第一人称视频情景记忆的人工标注基准测试，使用字幕进行标注。研究表明，在长视频上，基于字幕的问答性能优于直接视频问答。
一个从使用工具的智能体蒸馏而来的2B视觉语言模型，通过剪枝其多语言嵌入表以满足参数限制，在长第一人称视频问答任务中取得了第一名，仅使用1.1%的参数就达到了更大管道89%的准确率。
SCOUT 提出了一种恢复感知的智能体框架，采用自适应探索-利用策略，用于超长自我中心视频推理。该框架通过 UPS-GRPO 训练，这是一种不确定性优先的强化学习方法，具备回合级优势分解。它在超长自我中心基准上取得了最先进的结果，并在较短的长时间视频场景中保持竞争力。
介绍了SERUM，一种多遍框架，通过分层VLM标注从原始自我中心视频中提取用户行为和意图的结构化模型，减少幻觉现象，并生成无需人工标注的可解释过程模型。
ReViV是一个统一的整体性第一人称4D重建框架，它通过掩码生成式第一人称Transformer，从单目RGB视频中同时重建观看者（身体、手、视线）和场景（深度、相机轨迹）的动态，实现了最先进的准确性和效率。
Vinci2 提出了一个用于连续自我中心视频的主动辅助系统，引入了一个新的基准 EgoServe 和一个记忆增强型智能体 EgoMemo，该智能体根据时间上下文决定何时进行干预。
Reka AI Labs 发布了 CS2-10k 大型数据集，包含超过 60 万个第一人称游戏视频，总计超过 1 万小时，每帧都配有键盘、鼠标和 3D 位置数据。该数据集已在 Hugging Face 上开放，可用于世界模型、基于动作的视频生成以及第一人称导航研究。
本文发现，经过过滤和标注流水线处理的自我中心人类视频，在预训练具身基础模型时可以超越遥操作真实机器人数据，在真实机器人任务上实现了更低的验证损失和更高的成功率。
ACE-EGO-0是一个统一的视觉-语言-动作预训练框架，利用第一人称人类视频和机器人轨迹，通过可靠性感知训练目标，在具身AI基准上达到了最先进水平。
EgoPhys 提出一个框架，利用通用先验和紧凑码本从第一人称 RGB 视频构建可变形物理数字孪生，无需针对每个弹簧进行优化即可实现对新物体的零样本泛化。该系统在真实机器人上进行了演示，表明第一人称人类玩耍视频可以作为可变形物体规划的内部世界表征。
本文介绍了V-RAGBench，一个用于评估长自我中心视频中检索增强生成的基准，以及CARVE，一种自适应地为每个片段选择检索配置以提升VideoRAG性能的方法。