标签
本文介绍了SCEval，一种诊断性评估协议，它通过应用结构损坏来测试全模态大型语言模型的脆弱性，揭示了干净准确性并不确保可靠的跨模态推理。
本文介绍了Hear2Act，一个统一的基准，用于评估韵律线索如何影响任务导向对话的决策。研究发现，当词汇证据不足时，韵律很重要，并且音频LLM通过显式的动作关注表示能获益。
本文提出了一种实用的评估协议，用于在现实复杂目标（而非简化基准）中评估AI渗透测试智能体。它采用基于LLM的语义匹配、二分图解析和持续真值来对发现的漏洞进行评分，并发布了专家标注的真值数据和代码。
本文提出了一个统一的LLM持续学习框架，将变化沿空间（新领域）和时间（数据漂移）两个维度进行解耦。它评估了多种方法，包括提示、监督学习、强化学习和上下文压缩，在现实的顺序设置下。
本文提出了一种针对 Agent 记忆的条件规模评估协议，分析随着无关会话的累积，可靠性如何下降。该研究识别了不同记忆接口和大型语言模型（LLM）下的特定失效区域和可用规模边界。