@rohanpaul_ai：Meta 新论文表明，主动式助手失败的关键在于自主决定何时打断，而不只是说什么

X AI KOLs Timeline 论文
proactive-assistants egocentric-video long-term-memory timing-decision multimodal benchmark meta-research

摘要

Meta 一篇新论文提出了 ProPerMem，一个为期一年的第一人称视频记忆基准（约 618K tokens），显示主动式 AI 助手主要败在决定何时开口，而非说什么——像 GPT-5.3-Chat 这样的前沿模型在提供神谕证据时得分 96%，但当自行选择时机时骤降至 15-38%。

Meta 新论文表明，主动式助手失败的关键在于自主决定何时打断，而不只是说什么。 主动式助手（如 AI 眼镜）不会收到任何查询。它们必须通过在一年的个人记忆中找到支撑事实，自行决定何时开口以及说什么，而这些信息不会直接交给它们。 研究者构建了 ProPerMem：第一人称视频，搭配一个富含干扰项、平均约 618K tokens 的一年期记忆库，并包含人工验证的触发窗口。只有当助手在窗口内恰好在应答时机开口，且内容基于证据时，该片段才算通过。 所有基线得分最高仅为 15%，即便是配备检索增强记忆的前沿模型也是如此。如果在窗口内提供神谕证据，GPT-5.3-Chat 可达 96%，但自行选择时机后降至 38%，使用检索后进一步降至 15%。 对于主动式助手而言，内容和时机都要正确，并且克制触发频率——这一策略将准确率从不足 10% 提升至 42.4%。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:21

Meta 新论文显示，主动式助手失败的关键不仅在于“说什么“，更在于自行决定“何时打断“。

主动式助手（如 AI 眼镜）不会收到任何查询。它们必须在一年的个人记忆中自行找到能够证明介入合理的事实，从而决定何时开口、说什么——这些信息不会被直接交给它们。

研究团队构建了 ProPerMem：一个第一人称视频数据集，配套干扰项密集、时长一年的记忆，平均 618K tokens，并包含经人工验证的触发窗口。只有当助手恰在窗口内的正确时机介入，且内容有据可依时，该片段才计为正确。

所有基线模型得分最高仅 15%，即使是配备了检索增强记忆的前沿模型也不例外。若把窗口内的证据直接给出（oracle 模式），GPT-5.3-Chat 可达 96%；但让它自行选择时机，得分骤降至 38%；改用检索方式则进一步跌至 15%。

对于主动式助手而言，内容和时机都要准确，并且克制介入频率——这一策略将准确率从不足 10% 提升至 42.4%。

相似文章

ProPerAgent：迈向记忆驱动的主动式助手

arXiv cs.CL

ProPerAgent：提出 ProPerMem——一个将第一人称视角视频与长达一年的用户记忆相结合、用于记忆驱动主动式助手评估的基准；以及 ProPerAgent——一种基于图结构组织记忆的框架，通过强化学习后训练将严格准确率从不足10%提升至42.4%，表明内容与时机对于主动式AI助手而言均不可或缺。

@rohanpaul_ai: Meta 的新论文显示，前沿智能体在从经验中学习的方式上差异巨大，而表现最好的那个并不是……

X AI KOLs Timeline

Meta 的论文在国际象棋、围棋、Hex 和 NetHack 四个环境中评估前沿智能体从经验中学习的能力，全程冻结模型权重，并将「可塑性」定义为每美元成本带来的留集（held-out）增益。Claude Fable 5 取得了最大的绝对增益，而 GPT-5.6 Sol 的成本效率要高得多，说明表现最强的模型并不等同于学习效率最高的模型。

@rohanpaul_ai：Meta 新论文。大多数智能体记忆系统使用单一置信度阈值来决定保存哪些关于用户的事实，但这……

X AI KOLs Timeline

Meta 的一篇新论文发现，相比使用单一的全局阈值，仅对有关用户价值观和信念的陈述采用更严格的置信度阈值，能让智能体记忆系统表现更好。针对价值观设置的门槛将已保存事实中缺乏依据的比例从 6.2% 降至 4.0%，同时对源文本关键事实的保留率提高了约 13 个百分点。