标签
论文提出 MIST 评测方法,将场景搭建与变化执行分离,以诊断视频世界模型中的记忆失效问题;并提出 M3-Agent,通过递归修正指令将 MIST 揭示得分提升三倍,同时显著提高 WRBench 和 MBench-T 的成绩。
WorldMemBench 提出了一个用于系统评估视频世界模型世界记忆能力的基准,涵盖260个测试用例,分别考察静态记忆(人物、物体、环境的身份与几何保持)和动态记忆(事件演进与状态持续性)。对九个代表性模型的评估显示,强静态记忆并不意味着可靠的状态演化,且重复重访会暴露记忆退化问题。
本文介绍了ReaLMem,这是首个使用真实个人档案评估AI长期多模态记忆的基准,并提出了ChronoProfiler,通过时间加权来提升AI伴侣的个性化能力。
本文提出BudgetBench,一个通过调整每次调用的输入令牌预算来评估本地大型语言模型代理内存策略的协议与工具,为社区基准测试提供可重用的测量平台。
本文提出了ECCBench,一个用于评估视觉-语言模型记忆能力的基准和评估框架,超越准确率指标,聚焦于效率、压缩与校准三个维度。
本文介绍了MemUse,一个基准,它表明对话记忆的直接问答准确性不能预测用户满意度,而先前上下文的自然整合则可以,揭示了回忆与对话使用之间的巨大差距。
LongMINT 是一个基准测试,用于在长时域代理系统中评估多目标干扰下的记忆性能。
MEME 基准测试在多实体和动态变化的条件下评估 AI 记忆系统,揭示了即便采用先进的检索技术,在依赖关系推理方面依然存在显著挑战。