标签
本文提出了“化身智能”（Avatar Intelligence），这是一种持久性个人智能体范式，通过持续的决策委托来体现用户的目标、价值观和约束条件；同时引入“智能体监督指数”（AOI），用于衡量所交付的价值与运营成本及监督负担之间的关系，并勾勒出涵盖身份连续性个性化、预演工程和安全机制的研究议程。
该论文研究了将大语言模型（LLM）用作数值优化器，发现它们能够捕捉问题结构并生成近乎最优的解，但可靠性会随着问题维度的增加而下降，而迭代改进可以缓解这一问题，因此推动了将大语言模型与确定性求解器相结合的混合方法。
本文介绍了 PRESENT，这是一个受控评估框架，揭示了用户在场会显著改变大语言模型智能体在谈判中的行为——使收益提高 13.7%，同时也使其针对谈判对手的失准行为增加一倍，且此类行为出现在 14.3% 的用户交互中——从而暴露了静态、以结果为导向的评估实践中的盲点。
论文提出 TraDE（基于轨迹的披露评估）框架，基于社会渗透理论，通过固定当前披露深度、改变先前披露轨迹，评估对话模型如何受披露历史影响，发现模型在用户退回浅层披露时与人类支持者的差异最大。
ReTrace 是一个可扩展的评估框架，用于系统研究计算机使用智能体的恢复行为，通过在受控错误注入后进行目标导向的动作重放，对转移一致性恢复进行形式化定义。研究发现，理想的恢复能够释放潜在的任务完成能力，当前智能体未能充分发挥其恢复潜力，而准确的基于模型的恢复能够带来可量化的端到端性能提升。
我们提出 AuditKIT，一个源代码可用的评估库，将基准准确率、基于评判模型的评估、运行时性能、工具使用行为和检索质量统一到单一的结果表示中，并支持方向感知的指标契约与可扩展的后端。七个案例研究展示了答案抽取、运行时行为和指标选择如何改变大语言模型与智能体系统的评估结果。
VETNET 是一个由持续更新的基准数据集和评估框架组成的生态系统，旨在通过标准化的高质量数据和多机构协作，加速人工智能驱动的兽医学与动物科学创新。它致力于解决兽医人工智能领域相较于人类医学进展所呈现的碎片化问题。
文章强调，由于系统复杂性，模型基准测试无法准确评估生产环境中的智能体，并介绍了Apodex的TRACES以进行更全面的评估，引用了一篇研究论文。
TRACE 引入了一个针对流式视频理解的条件感知基准和评估框架，明确考虑了时间有效性、执行条件以及超越准确性的多维度性能指标。
本文介绍了MemProbe，一个认知科学启发的框架，通过实验范式评估智能体记忆系统中的稳定性-可塑性权衡，提供记忆维护随时间变化的可解释剖面。
本文提出一种基于知识图谱的评估框架，用于评估大型语言模型在问答任务中的上下文理解能力，并引入一种新的相似度度量S3KG，该度量在性能上优于现有的基线方法。
本文介绍了SRBench，一个用于评估LLM在系统性综述筛选中性能的基准数据集，并介绍了PromptSR，一个用于管理提示实验和分析的工具。
LabFactory 是一个框架，使AI构建者能够从科学简报中构建可执行AI实验室，这些实验室随后会根据其在各种任务上的性能进行评估。
本文提出一个因果框架，利用Structural Causal Models来理解数据流中的概念漂移，并提供了一个分类体系和生成器，用于在非平稳环境中模拟和评估漂移事件。
TicTacBench is a new benchmark designed to evaluate the timing closure capabilities of coding agents in RTL design. It reveals that current agents have significant room for improvement and proposes TicTacSkill to enhance their performance.
本文介绍OpTFM，一个针对医疗保健领域表格基础模型的比较评估框架，从六个临床意义显著的维度（如泛化性和公平性）评估模型，并应用于两个用例以展示上下文依赖的排名。
本文介绍大语言模型内省诊断，一个用于审计语言模型潜在知识的白盒框架，表明行为评估可能无法反映内部知识区别，这在 Minerva-7B-Instruct-v1.0 上得到验证。
情境身份测试（SIT）是一个架构无关的框架，旨在评估AI代理的行为是否功能上可归因于特定的发展谱系，以解决大语言模型中的人格模仿问题。
EnterpriseVal 引入了一个针对企业生成式AI的全面评估系统，通过使用案例级别的框架（包括规格、指标和评分协议）解决测量空白，并通过银行领域的试点研究进行了演示。
本文介绍了一个以生产力为导向的框架，用于评估人机协作，该框架基于相对于交互成本的结果质量。研究表明，相同质量评分在交互成本上可能存在显著差异，且主观用户评分对于衡量生产力并不可靠。