标签
本文提出了一种实用的评估协议,用于在现实复杂目标(而非简化基准)中评估AI渗透测试智能体。它采用基于LLM的语义匹配、二分图解析和持续真值来对发现的漏洞进行评分,并发布了专家标注的真值数据和代码。
本文提出了一个统一的LLM持续学习框架,将变化沿空间(新领域)和时间(数据漂移)两个维度进行解耦。它评估了多种方法,包括提示、监督学习、强化学习和上下文压缩,在现实的顺序设置下。
本文提出了一种针对 Agent 记忆的条件规模评估协议,分析随着无关会话的累积,可靠性如何下降。该研究识别了不同记忆接口和大型语言模型(LLM)下的特定失效区域和可用规模边界。