标签
这项实证研究测试了思维链提示何时有助于或损害LLM推理，发现CoT在GSM8K和MATH等深层串行任务上带来巨大收益，但在MMLU和ARC-Challenge等浅层任务上则是冗余的，这与串行深度瓶颈框架一致。
This empirical study compares conversational XAI (powered by LLMs) against a traditional dashboard for UAV intrusion detection auditing, finding the conversational interface improves perceived usefulness but risks operator over-reliance on AI advice.
This paper empirically studies token-probability-based confidence estimation and calibration for LLMs in mathematical question answering, comparing single-pass and multi-pass estimators and evaluating post-hoc calibration methods.
一项关于多页视觉丰富文档理解（MP-VRDU）失败的实证归因研究，隔离了表示、选择与推理三种失败模式，并为在固定计算预算下构建此类系统提供了指导。
This empirical study investigates how recurrent context compression affects long-horizon agent behavior, showing that compression can weaken recent interaction influence and cause instability. The authors introduce TRACE, a verifier-guided framework that improves compression reliability and performance on AppWorld.
This paper empirically studies how VLM agents with persistent spatial memory fail when memory becomes stale, using a dynamic FrozenLake testbed. It finds that trusting stale memory can more than double death rates, and that read-time auditing helps but does not fully close the gap.
一项大规模实证研究，分析了生产环境中352万次C++代码变更，比较AI生成代码与人工编写代码的质量，发现AI代码具有更高的耦合度和计算开销，但有针对性的反馈可以缓解这些问题。
本文实证研究了视觉语言模型智能体中的空间记忆过时性问题，发现模型常常忽略矛盾的视觉证据，并且信任过时记忆会增加安全风险。作者提出了审计机制，但表明在记忆-观察冲突下的视觉接地仍是一个重大开放挑战。
This empirical study examines practical online KV cache compaction for LLM agents, comparing token eviction and attention matching methods under different proxy query sources. It finds that delaying compaction to use future agent queries recovers performance, and token eviction preserves accuracy while reducing KV cache by 80%.
一项系统的跨架构实证研究，衡量小语言模型领域适配的可信度成本，发现安全保持的微调策略并不能可靠地迁移对齐性。
这项针对730万篇学术论文的PNAS研究发现，到2025年，超过半数的论文显示出LLM的影响，且在声望较低和非英语机构之间存在显著的采用不平等现象。
本文通过实验研究提示词表述如何影响端侧大语言模型的能耗，表明关键词选择会显著影响解码长度和总能耗，并提示工程可作为轻量级能耗优化手段。
本文通过使用Moving-MNIST、Pendulum、CartPole和KTH Actions上的扩张代理，实证研究了多时间尺度潜在一致性如何影响世界模型中的转移几何。研究发现，软一致性可以推动被动视频动态趋向收缩，但在动作条件领域则不成立。
本文研究了在旨在绕过正则表达式的对抗性探针下，LLM对齐是否提供超出正则表达式过滤器的额外覆盖。通过一项移除正则表达式过滤器的消融研究，发现对齐的贡献是度量依赖的：在自然语言有害请求上零覆盖增益，但在对抗性构造的变体上可检测出拒绝。
提出FiT，一个诊断框架，用于在微调前评估小型LLM在网络安全问答方面的能力，表明根据不同的微调模式，微调可能会降低词汇和参数化知识。提供避免不必要微调的指导。
本文研究了对齐和有界安全过滤器能否完全消除大型语言模型中的有害输出，提供了理论论证和实验证据，表明在这些约束条件下，有害输出率会稳定在一个高于零的水平。
本文分析了超过33,000次关于Actor-Critic算法设计组件的实验，发现诸如高斯动作分布等常见默认配置并不可靠，而具有自适应更新计划的有界分布则表现出鲁棒性，为实践者提供了实用指导。
本文通过实证评估，研究API-based coding agents中减少token是否能降低实际计费成本。结果表明，prompt-cache流量主导了成本构成，减少token并不能可靠地降低成本，还可能损害任务完成率。
本文研究了102万个拉取请求，分析了从以人为中心到AI智能体代码审查的转变，发现智能体参与的模式提高了效率但未提升质量。
本文介绍了CogniConsole，一种将LLM推理时控制外化的架构抽象，通过受控探针证明增加结构脚手架可降低输出方差和失败率，挑战了可靠性仅源自模型能力的假设。