标签
本文介绍了 FABench,这是一个面向预测智能体的可扩展回测环境,通过自动化流水线发现事件、生成问题并判定结果,以避免训练截止时间导致的信息泄漏。研究评估了基于八个近期模型构建的智能体,发现检索能持续改善布里尔评分,并使表现领先的智能体达到 Polymarket 市场共识的水平,同时揭示了反复出现的证据权重分配失误。
Meta 的 DecisionRank 论文提出了项目空间中的同策略蒸馏方法,将生成式大语言模型教师的排序知识迁移到单令牌决策模型重排序器中,在 TREC DL、BEIR 和 BRIGHT 上取得了最先进的结果,同时运行速度最高可达对应生成式模型的 24.5 倍,并以仅 17 亿参数超越了其 270 亿参数的教师模型。
一篇预印本针对策略撤销测试了五种智能体记忆系统(Graphiti、Zep、mem0、langmem、cognee),发现没有一种系统能可靠地阻止智能体检索已被替代的有害策略并据此采取行动;已撤销的记录有时仍排在检索结果首位,且超过40%的试验中出现了不安全行为。
本期 LangChain 社区聚焦 Soba Labs 的 Kacper Klusek,他分享了通过先修复检索来构建企业级 RAG 的方法:上下文化分块、BM25 混合搜索和重排序器,在 Anthropic 的评测中将检索失败率降低了 67%,而 LangSmith 评估则能捕捉文档变更带来的效果衰减。
介绍康奈尔大学与 ASAPP 的 DecisionRAG 论文:用决策模型(如 Jev 1.13)在文档树上导航取代向量相似度检索,实现 retriever-free RAG,在 Natural Questions 上 top-1 命中率达 65.4%,优于 embedding 检索加 8B reranker 的 48.0% 和 GPT-5 reranking 的 60.8%。
文章介绍开源工具 Obelisk:一个将 Claude Code、Codex 等编码 Agent 的历史会话索引到 SQLite 中、供 Agent 直接检索的系统,其设计灵感来自论文《Is Complex Agentic Memory Always Needed?》,该论文发现简单的 RAW-RAG(保留原始对话历史按需检索)在多个记忆基准上超越了复杂的 Agentic Memory 方案。
DecisionRank 使用条目空间的同策略蒸馏,将生成式教师模型的排序知识迁移到高效决策模型,在 TREC DL、BEIR、BRIGHT 等检索基准上达到最先进性能,同时显著提升推理速度(最高可达 24.5 倍),仅用 17 亿参数即可超越 270 亿参数的生成式教师模型。
一位从业者分享了自己搭建的排名网站上各款 AI 智能体检索/RAG 工具的评分,指出 LlamaIndex 以 7.0 分领先,而 Pinecone 和 Ragas 在版本更新及时性方面落后,并询问生产团队使用的检索技术栈及评估实践。
MemSteer 由北京大学与微软亚洲研究院合作开发,能够将用户历史自动转化为针对智能体记忆的监督测试,MemSteer-Opt 则利用这些证据优化存储、检索与呈现方式,无需人工标注数据或微调,在 ATM-Bench 与 RHELM 上超越了 BM25 基线。
提出了ETAMem多视角记忆框架,通过解耦异构对话信息并构建Event、Affect、Time三个互补的层次化视图,提升长期对话智能体的记忆检索效果,在LoCoMo和LongMemEval-S上分别实现12.46%和7.96%的相对准确率提升。
TrawMem 将 LLM 智能体记忆系统重新定义为面向任务、角色自适应的工作空间,将交互历史组织为线程,并根据记忆在任务中的角色选择互补记忆,在 LoCoMo 和 MemGallery 基准测试中,相较于具有代表性的记忆系统,宏平均 F1 得分稳定提升了 2.23–3.14 个点。
一份技术报告在包含7,354项随机试验的语料库上,将分类标签检索与嵌入检索加大语言模型筛选的两阶段方法进行了比较,发现新方法能够检索到系统综述所纳入证据的92%,而标签检索仅能检索到45%,其成本随检索深度增加而上升。
FinLLM-KG 是一个模型无关的框架,将因果大语言模型与金融知识图谱相结合,从美国证券交易委员会(SEC)的 10-K 文件中注入公司层面、时间对齐的知识,以改进金融情绪分析与算法交易,同时提供可解释的预测依据。
本文表明,仅检索到正确事实对记忆智能体来说是不够的,因为一条过时的竞争性陈述对准确率的损害程度超过了同等规模的无关证据。该结论基于 MemoryAgentBench 的 FactConsolidation 任务,并使用 Qwen2.5 和 Qwen3 模型进行了评估。
该论文提出UMer框架,通过从用户历史社交痕迹中蒸馏个性化心理先验、进行量表引导的多查询检索以及粗到细的证据感知推理,实现基于社交媒体的抑郁严重程度估计,并提供可解释的证据依据。
FlexA-Mem 提出一种预算自适应的智能体记忆机制,将历史一次性写入不可变存储,并为每次调用动态渲染紧凑的时间线记忆加相关细节,在 AppWorld、LongMemEval 和 LoCoMo 上显著优于 A-Mem 等现有方法。
本文提出了一种新方法,用于衡量大语言模型智能体是否已内化公共技能中心中的技能,并指出,基于增益的退役规则无法区分已内化的技能与尚未覆盖的技能。该方法采用基于探测任务的无辅助评分方式,并通过跨模型验证进行检验;同时发布了1,251项技能及其在四个模型上的任务数据。
一篇论文指出了现代文本嵌入模型中的一个系统性缺陷:通过线性探针可以高度准确地解码情感信息,但其余弦相似度度量却几乎无法体现这些信息。论文提出了 SISE,一种微型监督式对比学习头,可在冻结编码器的情况下修复这一问题。
本文提出 VMem-Bench,一个两阶段诊断基准,系统研究长视频生成中视觉记忆(检索历史画面)对历史一致性与当前故事准确性的权衡影响,发现检索虽提升实体召回率却降低了精确度与禁用实体规避能力。
Policy Central 是一个已在警局部署的系统,通过两种架构(Retrieve-Judge 与 Screen-Confirm)自动检测政策文本段落之间的冲突、冗余与相似性,并在 302 对真实政策基准上报告了召回率与成本表现。