标签
本文介绍了REALM,一个用于LLM代理长期记忆的框架,它利用检索驱动的再巩固来自主地将记忆组织成认知图,从而在长期记忆基准测试中取得更好的性能。
本研究通过重新运行具有相同输入的任务并比较医嘱,考察了临床LLM智能体的行为级可靠性,发现了基准测试可能忽略的显著分歧,并提出了增强的评估方法。
本文提出了一种Program-Solve接口,临床语言模型生成Python代码,交由确定性执行器进行数学计算。通过在MedCalc-Bench上的评估,我们发现大型模型如Qwen2.5-32B相比直接算术和手写库,准确性有所提升。
Apodex-1.1 是一款专注于优先推理的 AI 模型,专为复杂的长期研究任务设计,支持端到端执行、自适应智能体团队,并内置验证机制以提供可验证的结果。
本文研究代理框架优化,以改进大语言模型工具代理而无需重新训练,重点关注提示和工具边界中间件,并引入了一个协议和PRISM优化器以实现可测量的增益。
RecKAN 为 Kolmogorov-Arnold 网络引入了可学习的递归多项式基,在分类和预测任务上超越了现有的 KAN 变体。
本文提出通过结合语义熵和令牌级不确定性信号来检测黑盒LLMs中的幻觉的方法,评估了TopK、CoCoA、Gated和Stacked等技术在多个基准测试中的表现,发现没有单一方法普遍最强,但Stacked通常表现最佳。
本文介绍了FactoSR,一个因子化强化学习框架,通过将4D属性分解为正交子目标,增强了视觉-语言模型的空间推理能力,在多视角和视频基准测试中取得了显著的性能提升。
本文提出了一种结合神经网络均值与精确Matérn kernel校正的方法,用于偏微分方程中的算子学习,在结构力学和OCO-2辐射传输模拟等公开基准测试中达到了竞争性或改进的性能。
本文识别了多模态学习中的强模态坍缩现象,其中融合会降低主导模态的性能,并提出了 Inverted Asymmetric Fusion (IAF) 来保留主导模态,从而在单模态基线上取得改进。
本文重新评估了针对大型语言模型的未完成体悖论基准测试,识别出概念和评估上的误规范,并引入了词汇匹配的最小对以揭示模型语义推理中的充分性偏差。
本文提出一种权重变化审计方法,用于分析语言模型中的医疗专业化,考察超越端点基准分数的内部更新变化。
本文提出转换复杂度剖面(TCP)这组指标,用于量化游戏世界建模中的状态转换预测难度,旨在为强化学习与世界模型研究建立标准化的基准评估体系。
本文审计了多个模型在金融新闻自然语言处理基准中的时间泄漏,发现随机划分会夸大性能指标,并确定并购事件是在时序评估下具有局部正向信号的一个类别。
该研究比较了 MemoryLake,一个结构化内存后端,与其他系统在 MemoryArena 基准测试上的表现,发现它在部分任务中成功率更高,但并未在所有领域确立明显优势。
本文研究了 LSR-Synth 基准,发现固定词汇表覆盖了大多数任务,而语言模型生成的候选很少扩展可解实例的集合,除非词汇表覆盖被破坏。
DarwinX 通过自然选择式的种群搜索进化 LLM 智能体框架,模型权重保持冻结,在不做基准特定修补的情况下,提升了多个基准测试上的验证性能。
介绍RSEA,一种利用三层自然语言状态和保留集选择门防止退化的LLM智能体递归自我进化方法。在四个基准测试中评估,结果表明上下文进化依赖于基准,且严格的选择门对可靠性至关重要。
本文识别出'Inattentional Gap'现象,即任务条件化的AI模型会抑制报告其本可检测到的安全关键信号,类似于人类的非注意盲视,这挑战了基准性能即可确保现实世界安全的假设。
本文介绍了CF-World,一个用于评估文本到图像模型是否依赖因果推理或仅仅是模式匹配的反事实基准。实验表明,所有模型在反事实设置下表现急剧下降,表明它们的理解仅限于视觉-文本紧密耦合的模式,而非真正的因果推理。