benchmark-evaluation

标签

Cards List
#benchmark-evaluation

面向长期LLM代理的检索驱动记忆再巩固

arXiv cs.CL ↗ · 2026-09-16 缓存

本文介绍了REALM,一个用于LLM代理长期记忆的框架,它利用检索驱动的再巩固来自主地将记忆组织成认知图,从而在长期记忆基准测试中取得更好的性能。

0 人收藏 0 人点赞
#benchmark-evaluation

同一患者,不同医嘱:重复运行下临床LLM智能体的行为级可靠性

arXiv cs.CL ↗ · 2026-09-15 缓存

本研究通过重新运行具有相同输入的任务并比较医嘱,考察了临床LLM智能体的行为级可靠性,发现了基准测试可能忽略的显著分歧,并提出了增强的评估方法。

0 人收藏 0 人点赞
#benchmark-evaluation

面向临床语言模型的确定性数学求解器

arXiv cs.AI ↗ · 2026-09-12 缓存

本文提出了一种Program-Solve接口,临床语言模型生成Python代码,交由确定性执行器进行数学计算。通过在MedCalc-Bench上的评估,我们发现大型模型如Qwen2.5-32B相比直接算术和手写库,准确性有所提升。

0 人收藏 0 人点赞
#benchmark-evaluation

Apodex-1.1-mini-GGUF*Hugging Face

Reddit r/LocalLLaMA ↗ · 2026-09-10 缓存

Apodex-1.1 是一款专注于优先推理的 AI 模型,专为复杂的长期研究任务设计,支持端到端执行、自适应智能体团队,并内置验证机制以提供可验证的结果。

0 人收藏 0 人点赞
#benchmark-evaluation

超越提示:衡量与优化大语言模型工具代理框架

arXiv cs.AI ↗ · 2026-09-10 缓存

本文研究代理框架优化,以改进大语言模型工具代理而无需重新训练,重点关注提示和工具边界中间件,并引入了一个协议和PRISM优化器以实现可测量的增益。

0 人收藏 0 人点赞
#benchmark-evaluation

RecKAN:带有可学习递归多项式基的 Kolmogorov-Arnold 网络

arXiv cs.LG ↗ · 2026-09-03 缓存

RecKAN 为 Kolmogorov-Arnold 网络引入了可学习的递归多项式基,在分类和预测任务上超越了现有的 KAN 变体。

0 人收藏 0 人点赞
#benchmark-evaluation

从令牌到语义:利用互补信号在黑盒LLMs中检测幻觉

arXiv cs.CL ↗ · 2026-09-03 缓存

本文提出通过结合语义熵和令牌级不确定性信号来检测黑盒LLMs中的幻觉的方法,评估了TopK、CoCoA、Gated和Stacked等技术在多个基准测试中的表现,发现没有单一方法普遍最强,但Stacked通常表现最佳。

0 人收藏 0 人点赞
#benchmark-evaluation

展开世界:在强化空间推理中因子化4D属性

Hugging Face Daily Papers ↗ · 2026-09-03

本文介绍了FactoSR,一个因子化强化学习框架,通过将4D属性分解为正交子目标,增强了视觉-语言模型的空间推理能力,在多视角和视频基准测试中取得了显著的性能提升。

0 人收藏 0 人点赞
#benchmark-evaluation

用于算子学习的神经均值与核校正

arXiv cs.LG ↗ · 2026-09-02 缓存

本文提出了一种结合神经网络均值与精确Matérn kernel校正的方法,用于偏微分方程中的算子学习,在结构力学和OCO-2辐射传输模拟等公开基准测试中达到了竞争性或改进的性能。

0 人收藏 0 人点赞
#benchmark-evaluation

通过 Inverted Asymmetric Fusion 缓解多模态学习中的强模态坍缩

arXiv cs.LG ↗ · 2026-08-28 缓存

本文识别了多模态学习中的强模态坍缩现象,其中融合会降低主导模态的性能,并提出了 Inverted Asymmetric Fusion (IAF) 来保留主导模态,从而在单模态基线上取得改进。

0 人收藏 0 人点赞
#benchmark-evaluation

未完成体悖论在大型语言模型中并非必然:模型失败前的基准测试失败

arXiv cs.CL ↗ · 2026-08-27 缓存

本文重新评估了针对大型语言模型的未完成体悖论基准测试,识别出概念和评估上的误规范,并引入了词汇匹配的最小对以揭示模型语义推理中的充分性偏差。

0 人收藏 0 人点赞
#benchmark-evaluation

超越端点增益:医疗专业化的权重变化审计

arXiv cs.AI ↗ · 2026-08-24 缓存

本文提出一种权重变化审计方法,用于分析语言模型中的医疗专业化,考察超越端点基准分数的内部更新变化。

0 人收藏 0 人点赞
#benchmark-evaluation

职位:通过过渡复杂度分析游戏世界

arXiv cs.AI ↗ · 2026-08-20 缓存

本文提出转换复杂度剖面(TCP)这组指标,用于量化游戏世界建模中的状态转换预测难度,旨在为强化学习与世界模型研究建立标准化的基准评估体系。

0 人收藏 0 人点赞
#benchmark-evaluation

金融新闻自然语言处理中的时间泄漏:基于特定模式的并购信号的多架构审计

arXiv cs.CL ↗ · 2026-08-19 缓存

本文审计了多个模型在金融新闻自然语言处理基准中的时间泄漏,发现随机划分会夸大性能指标,并确定并购事件是在时序评估下具有局部正向信号的一个类别。

0 人收藏 0 人点赞
#benchmark-evaluation

MemoryLake 在 MemoryArena 上的研究:智能体内存后端的匹配研究

arXiv cs.AI ↗ · 2026-08-17 缓存

该研究比较了 MemoryLake,一个结构化内存后端,与其他系统在 MemoryArena 基准测试上的表现,发现它在部分任务中成功率更高,但并未在所有领域确立明显优势。

0 人收藏 0 人点赞
#benchmark-evaluation

LSR-Synth 中的库可达性:反记忆化设计如何改变符号发现的度量

arXiv cs.AI ↗ · 2026-08-03 缓存

本文研究了 LSR-Synth 基准,发现固定词汇表覆盖了大多数任务,而语言模型生成的候选很少扩展可解实例的集合,除非词汇表覆盖被破坏。

0 人收藏 0 人点赞
#benchmark-evaluation

DarwinX:通过自然选择进化智能体框架

Hugging Face Daily Papers ↗ · 2026-07-31 缓存

DarwinX 通过自然选择式的种群搜索进化 LLM 智能体框架,模型权重保持冻结,在不做基准特定修补的情况下,提升了多个基准测试上的验证性能。

0 人收藏 0 人点赞
#benchmark-evaluation

基于保留集选择的递归自我进化智能体

arXiv cs.AI ↗ · 2026-06-30 缓存

介绍RSEA,一种利用三层自然语言状态和保留集选择门防止退化的LLM智能体递归自我进化方法。在四个基准测试中评估,结果表明上下文进化依赖于基准,且严格的选择门对可靠性至关重要。

0 人收藏 0 人点赞
#benchmark-evaluation

The Inattentional Gap: 任务条件化的语言与视觉模型会忽略本可报告的安全关键信号

arXiv cs.CL ↗ · 2026-06-26 缓存

本文识别出'Inattentional Gap'现象,即任务条件化的AI模型会抑制报告其本可检测到的安全关键信号,类似于人类的非注意盲视,这挑战了基准性能即可确保现实世界安全的假设。

0 人收藏 0 人点赞
#benchmark-evaluation

文本到图像模型是归纳主义火鸡吗?一个用于因果推理的反事实基准

Hugging Face Daily Papers ↗ · 2026-06-23 缓存

本文介绍了CF-World,一个用于评估文本到图像模型是否依赖因果推理或仅仅是模式匹配的反事实基准。实验表明,所有模型在反事实设置下表现急剧下降,表明它们的理解仅限于视觉-文本紧密耦合的模式,而非真正的因果推理。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈