PReMind:当个人记忆遇上视觉危险
摘要
PReMind 提出了一个诊断性基准(PReMind-Bench)和一个两阶段强化学习框架,帮助个性化视觉-语言助手将视觉危险证据与个人记忆联合关联,在 4B 规模上将联合成功率从 12.9% 提升至 28.6%。
查看缓存全文
缓存时间: 2026/11/19 07:27
论文页面 - PReMind:当个人记忆遇上视觉危险
来源:https://huggingface.co/papers/2611.23808
摘要
一个诊断性基准和两阶段强化学习框架,使个性化视觉语言助手能够将视觉危险证据与个人记忆联合关联,从而给出恰当的回应。
个性化视觉语言助手(https://huggingface.co/papers?q=vision-language%20assistants)利用视觉观测和个人记忆(https://huggingface.co/papers?q=personal%20memories)来提供为用户量身定制的建议。当观测到的场景中存在物理危险时,个人背景信息(如过敏史、疾病状况或行动不便)可能会改变何种帮助才是恰当的。因此,恰当的回应既需要识别可见的危险,也需要运用相关人物的信息。我们提出了 PReMind-Bench(https://huggingface.co/papers?q=PReMind-Bench),这是一个诊断性基准(https://huggingface.co/papers?q=diagnostic%20benchmark),用于在多样化的危险场景和个人记忆条件下评估这种结合能力。它分别衡量记忆访问(https://huggingface.co/papers?q=memory%20access)、接地(https://huggingface.co/papers?q=grounding)、弃权(https://huggingface.co/papers?q=abstention)和危险响应(https://huggingface.co/papers?q=hazard%20response),并评估在相互依赖案例(https://huggingface.co/papers?q=interdependency%20cases)上的联合成功(https://huggingface.co/papers?q=joint%20success)。现有模型往往满足其中一个要求却无法兼顾另一个,而仅针对安全性或个性化进行训练会导致联合成功(https://huggingface.co/papers?q=joint%20success)存在差距。因此我们提出了 PReMind(https://huggingface.co/papers?q=PReMind),一个两阶段强化学习(https://huggingface.co/papers?q=two-phase%20reinforcement%20learning)框架,结合按需调用与强制调用交互(https://huggingface.co/papers?q=forced-call%20interactions)(记忆始终被检索),以联合训练接地记忆使用(https://huggingface.co/papers?q=grounded%20memory%20use)和危险响应(https://huggingface.co/papers?q=hazard%20response)。在 4B 参数规模下,PReMind(https://huggingface.co/papers?q=PReMind)在相互依赖集上将联合成功(https://huggingface.co/papers?q=joint%20success)从 12.9% 提升至 28.6%(相对于其基座模型),并在主测试集上改善了危险充分性(https://huggingface.co/papers?q=hazard%20adequacy)和正确弃权(https://huggingface.co/papers?q=correct%20abstention)。联合成功的增益在强制调用评估(https://huggingface.co/papers?q=forced-call%20evaluation)以及第二位 LLM 评审员(https://huggingface.co/papers?q=LLM%20judge)下,在三个 Phase II 随机种子中均得以保持;对这些种子取平均后,联合成功(https://huggingface.co/papers?q=joint%20success)在未见过的危险组上也有所提升。这些发现凸显了评估和训练个人助手将视觉证据与相关人物背景信息关联起来的必要性。
查看 arXiv 页面 (https://arxiv.org/abs/2611.23808) 查看 PDF (https://arxiv.org/pdf/2611.23808) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2611.23808)
在你的智能体中获取此论文:
hf papers read 2611.23808
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型1
Yeongtak/PReMind-4B Image-Text-to-Text• 更新于约 2 小时前 • 8 (https://huggingface.co/Yeongtak/PReMind-4B)
引用此论文的数据集1
Yeongtak/PReMind-Bench Viewer• 更新于约 2 小时前 • 2.92k • 97 (https://huggingface.co/datasets/Yeongtak/PReMind-Bench)
引用此论文的 Spaces0
没有 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2611.23808 以从本页面链接它。
包含此论文的收藏夹0
没有收藏夹包含此论文
将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接它。
相似文章
MemEye:面向多模态智能体记忆的视觉中心评估框架
MemEye 是一个视觉中心的评估框架,通过衡量 8 个生活场景任务中的视觉证据粒度和检索复杂度来评估多模态智能体记忆。该框架揭示了当前架构在保留细粒度视觉细节和推理随时间变化的状态方面仍然存在困难。
DMV-Bench: 通过偶然线索注入诊断长周期多模态智能体的视觉记忆
介绍DMV-Bench,一个用于评估多模态智能体视觉记忆的交互式基准测试,该测试利用产品图像中的偶然视觉线索,并提出了DualMem,一种双编码记忆架构,在各种链长度上优于纯文本和其他多模态基线。
ProPerAgent:迈向记忆驱动的主动式助手
ProPerAgent:提出 ProPerMem——一个将第一人称视角视频与长达一年的用户记忆相结合、用于记忆驱动主动式助手评估的基准;以及 ProPerAgent——一种基于图结构组织记忆的框架,通过强化学习后训练将严格准确率从不足10%提升至42.4%,表明内容与时机对于主动式AI助手而言均不可或缺。
保持铭记:评估智能体记忆中的内隐关联盲点
介绍 InMind Memory Bench,一个用于评估智能体记忆系统中内隐关联盲点的基准测试。该盲点表现为当表面相似度较低时,仅依赖检索的记忆无法应用相关的世界知识。
ProMemAgent:基于感官知觉的情境感知前瞻性记忆,实现长时程主动辅助
论文提出了ProMemAgent,这是首个在感官知觉(第一人称视角视频与音频)之上融入情境感知前瞻性记忆的主动式LLM智能体,用于长时程辅助;同时发布了CPMBench,一个包含1000个实例的基准测试,涵盖八个日常场景类别,用于评估延迟意图辅助能力。