PReMind:当个人记忆遇上视觉危险

Hugging Face Daily Papers 论文

摘要

PReMind 提出了一个诊断性基准(PReMind-Bench)和一个两阶段强化学习框架,帮助个性化视觉-语言助手将视觉危险证据与个人记忆联合关联,在 4B 规模上将联合成功率从 12.9% 提升至 28.6%。

个性化视觉-语言助手利用视觉观察和个人记忆来提供针对用户的建议。当观察到的场景中存在物理危险时,个人背景信息(如过敏史、疾病状况或行动限制)会改变何种帮助才是恰当的。因此,要做出恰当的响应,既需要识别可见的危险,又需要应用相关人员的个人信息。我们提出了 PReMind-Bench,这是一个诊断性基准,用于在多种危险和个人记忆条件下评估这种结合能力。它分别衡量记忆访问、接地(grounding)、拒答(abstention)和危险响应,并在相互依赖的案例上评估联合成功率。现有模型往往满足其中一个要求却在另一个上失败,而仅针对安全性或个性化进行训练会在联合成功率上留下差距。因此,我们提出了 PReMind,一个两阶段强化学习框架,结合按需调用和强制调用(始终检索记忆)两种交互方式,联合训练接地的记忆使用和危险响应。在 4B 规模上,PReMind 在相互依赖集合上将其基线的联合成功率从 12.9% 提升至 28.6%,并在主测试集上改善了危险响应充分性和正确拒答。在强制调用评估下以及在三个第二阶段随机种子下使用另一个 LLM 作为评判者时,联合成功率的提升依然保持;在这些种子上取平均后,联合成功率在未见过的危险组上同样有所提升。这些发现凸显了评估和训练个人助手将视觉证据与相关人员背景信息相连接的必要性。
查看原文
查看缓存全文

缓存时间: 2026/11/19 07:27

论文页面 - PReMind:当个人记忆遇上视觉危险

来源:https://huggingface.co/papers/2611.23808

摘要

一个诊断性基准和两阶段强化学习框架,使个性化视觉语言助手能够将视觉危险证据与个人记忆联合关联,从而给出恰当的回应。

个性化视觉语言助手(https://huggingface.co/papers?q=vision-language%20assistants)利用视觉观测和个人记忆(https://huggingface.co/papers?q=personal%20memories)来提供为用户量身定制的建议。当观测到的场景中存在物理危险时,个人背景信息(如过敏史、疾病状况或行动不便)可能会改变何种帮助才是恰当的。因此,恰当的回应既需要识别可见的危险,也需要运用相关人物的信息。我们提出了 PReMind-Bench(https://huggingface.co/papers?q=PReMind-Bench),这是一个诊断性基准(https://huggingface.co/papers?q=diagnostic%20benchmark),用于在多样化的危险场景和个人记忆条件下评估这种结合能力。它分别衡量记忆访问(https://huggingface.co/papers?q=memory%20access)、接地(https://huggingface.co/papers?q=grounding)、弃权(https://huggingface.co/papers?q=abstention)和危险响应(https://huggingface.co/papers?q=hazard%20response),并评估在相互依赖案例(https://huggingface.co/papers?q=interdependency%20cases)上的联合成功(https://huggingface.co/papers?q=joint%20success)。现有模型往往满足其中一个要求却无法兼顾另一个,而仅针对安全性或个性化进行训练会导致联合成功(https://huggingface.co/papers?q=joint%20success)存在差距。因此我们提出了 PReMind(https://huggingface.co/papers?q=PReMind),一个两阶段强化学习(https://huggingface.co/papers?q=two-phase%20reinforcement%20learning)框架,结合按需调用与强制调用交互(https://huggingface.co/papers?q=forced-call%20interactions)(记忆始终被检索),以联合训练接地记忆使用(https://huggingface.co/papers?q=grounded%20memory%20use)和危险响应(https://huggingface.co/papers?q=hazard%20response)。在 4B 参数规模下,PReMind(https://huggingface.co/papers?q=PReMind)在相互依赖集上将联合成功(https://huggingface.co/papers?q=joint%20success)从 12.9% 提升至 28.6%(相对于其基座模型),并在主测试集上改善了危险充分性(https://huggingface.co/papers?q=hazard%20adequacy)和正确弃权(https://huggingface.co/papers?q=correct%20abstention)。联合成功的增益在强制调用评估(https://huggingface.co/papers?q=forced-call%20evaluation)以及第二位 LLM 评审员(https://huggingface.co/papers?q=LLM%20judge)下,在三个 Phase II 随机种子中均得以保持;对这些种子取平均后,联合成功(https://huggingface.co/papers?q=joint%20success)在未见过的危险组上也有所提升。这些发现凸显了评估和训练个人助手将视觉证据与相关人物背景信息关联起来的必要性。

查看 arXiv 页面 (https://arxiv.org/abs/2611.23808) 查看 PDF (https://arxiv.org/pdf/2611.23808) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2611.23808)

在你的智能体中获取此论文:

hf papers read 2611.23808

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型1

Yeongtak/PReMind-4B Image-Text-to-Text• 更新于约 2 小时前 • 8 (https://huggingface.co/Yeongtak/PReMind-4B)

引用此论文的数据集1

Yeongtak/PReMind-Bench Viewer• 更新于约 2 小时前 • 2.92k • 97 (https://huggingface.co/datasets/Yeongtak/PReMind-Bench)

引用此论文的 Spaces0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2611.23808 以从本页面链接它。

包含此论文的收藏夹0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接它。

相似文章

MemEye:面向多模态智能体记忆的视觉中心评估框架

Hugging Face Daily Papers

MemEye 是一个视觉中心的评估框架,通过衡量 8 个生活场景任务中的视觉证据粒度和检索复杂度来评估多模态智能体记忆。该框架揭示了当前架构在保留细粒度视觉细节和推理随时间变化的状态方面仍然存在困难。

ProPerAgent:迈向记忆驱动的主动式助手

arXiv cs.CL

ProPerAgent:提出 ProPerMem——一个将第一人称视角视频与长达一年的用户记忆相结合、用于记忆驱动主动式助手评估的基准;以及 ProPerAgent——一种基于图结构组织记忆的框架,通过强化学习后训练将严格准确率从不足10%提升至42.4%,表明内容与时机对于主动式AI助手而言均不可或缺。

保持铭记:评估智能体记忆中的内隐关联盲点

Hugging Face Daily Papers

介绍 InMind Memory Bench,一个用于评估智能体记忆系统中内隐关联盲点的基准测试。该盲点表现为当表面相似度较低时,仅依赖检索的记忆无法应用相关的世界知识。