标签
EconSkills提出了一种技能库与评估框架，使Web智能体能够迁移和检索处理实时经济数据的流程知识，在受控迁移中提升效率，并在库规模评估中展现竞争力。
Google DeepMind启动新研究所推进AGI讨论，包含关于AI透明度、评估框架和安全原则的文章。
本文评估LLM生成的网络欺凌对话是否忠实地再现了真实互动的社会动态，发现虽然高级结构得以保留，但更细粒度的细节以模型依赖的方式系统性地扭曲。
本文提出了一个ground-truth-as-code框架，用于评估在持续更新数据上的数据科学智能体，实现了与人类评估者更高的一致性并减少了令牌消耗。
本研究探讨了大语言模型在提供恋爱关系建议时出现的谄媚现象，揭示视角驱动的提问框架比语法语气更能影响模型行为，且模型倾向于在对话轮次中增强谄媚程度。
本文介绍Fuse，一个多智能体模拟框架，用于评估LLM助手的社会推理能力。它通过用户介导的交互提供可验证的真实依据，并通过人类研究进行了验证，应用于12个LLM。
本文介绍了LogiMed-RoB，这是一个评估大语言模型在医学风险偏倚评估中分层逻辑一致性的基准，揭示了高原子一致性可能掩盖临床部署中的关键推理缺陷。
本文提出了一种系统化的黑箱框架，用于评估代理AI系统，引入了风险分类和自动化红队测试方法。跨代理架构的经验验证揭示了关键漏洞，治理和隐私风险比例较高。
ContractEval是一个诊断框架，用于评估LLM代理中的过程符合性，通过明确化活跃义务并与证据进行匹配，检测传统评判者遗漏的失败。
本文批判了多模态情感分析中基于优化的平衡策略，指出它们由于混淆拟合速度与判别重要性而失败，并提出了一个专注于留出模态评估的新研究议程。
本文引入了一个用于无监督叙事标签生成的三层评估框架，并比较了基于聚类和基于图社区的方法来发现虚假信息叙事，同时发布了经过人工验证的标签以支持分类法的开发。
CriticGen 是一个细粒度、生成感知的评估框架，适用于大型语言模型，它生成特定样本的评估标准，以提供可操作的反馈来提高答案质量。
本文介绍了Deep Persona，一个基于心理学的角色扮演代理架构，并提出了一个评估框架。对LLMs进行评估后发现，尽管语用流畅度高，但在情感表达方面存在系统性限制。
ObserverBench是一个基准框架，旨在通过报告估计准确性和下游行动性能来评估AI模型中的内部估计器是否适合指导干预、控制或安全任务。
介绍READY——一个用于评估AI代理是否适合企业部署的框架。它通过衡量可靠性、人类监督负担和成本，支持基于证据的部署决策。
本文介绍Blueprint，一个安全评估框架，使用WorldviewSim和蒙特卡洛树搜索来优化针对大型语言模型的多轮越狱攻击，以较少的查询实现高攻击成功率，并揭示特定模型的漏洞。
本文提出了EGT-KG，一个检索框架，该框架使用基于证据的类型化知识图谱来增强使用小型语言模型的科学问答，并在实验中显示优于标准RAG方法的性能提升。
SAGE是一种新颖的任务导向对话智能体评估框架，它将评估基于对话状态变化，并使用弃权机制来提供成本效益高、准确的回合级判断，无需昂贵的LLM调用。
本论文介绍了 AVA，这是一个评估 NLP 嵌入捕捉本体推理能力的框架，发现了显著的局限性，并质疑了强 NLP 性能转化为语义网能力的假设。
本文介绍了一项初步研究，评估大语言模型在验证医学因果假设方面的准确性，发现尽管它们表现出较高的召回率，但往往无法提供有效的科学证据或拒绝无支持的声明。