论文页面 - RealCompanion：基于真实世界长时序对话推理的人类理解基准测试

来源：https://huggingface.co/papers/2610.01780

摘要

一个与人交谈数月的伴侣，应当逐渐理解对方。它需要记住对方说过的话，推断对方是怎样的人，并清楚何时过往信息会影响眼前的消息。要测试这一点，需要真实人物的记录，而这类记录属于隐私，因此基准数据集往往自行生成人物、自行生成问题，并预先设定什么才是重要的。我们发布 \bench，包含十段与 AI 伴侣之间的真实关系：最长 120 天内共计 27,218 条消息，以原始对话以及由其衍生的四个文件的形式发布——人物档案（profile）、人设（persona）、对话真值（chat ground truth）和问题集（question set），每一项都引用其所依据的消息。每条对话标签都附带生成它的推理轨迹，并逐阶段与对话内容核对。由此得出三点发现。第一，过往信息很少被需要，且往往相距很远。池化指标会产生误导：一个近期窗口就能在 95.9% 的探针中找到所需消息，而真正需要记忆的仅占 2.2%；按自然比例计算，提供已记录证据所带来收益的 96%，来自那些根本不需要记忆的消息。第二，我们尝试过的所有检测器都无法判断真实消息何时需要记忆；在相同历史数据上人工编写的问句会泄露线索，而将同一批消息标注为记忆后，其使用率会提高十到十四个百分点。第三，三个智能体系统以相同的 F1 重建了人设，但成本相差达 31 倍。

查看 arXiv 页面 查看 PDF 添加到收藏

在你的智能体中获取这篇论文：

hf papers read 2610.01780

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有与本文关联的模型

在模型 README.md 中引用 arxiv.org/abs/2610.01780，即可从此页面链接到它。

引用本文的数据集 0

没有与本文关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.01780，即可从此页面链接到它。

引用本文的 Spaces 1

包含本文的合集 0

没有包含本文的合集

将本文添加到合集，即可从此页面链接到它。