标签
本文提出了SAKIKO——一个机制化审计框架，揭示了工具使用型大语言模型中的激活引导干预可能只是将概率质量重新分配，而非真正修复问题；研究发现，其中一个净增益为+55的干预，会破坏其所触及的基准正确决策中超过一半的案例。
JOHNSON 在 Squawk Box 节目中表示，对AI进行监督、透明度和外部审计是合适的。
本文审计了生产环境Text-to-SQL流水线中LLM-as-Judge的表现，发现其与人工标注者的一致性较差，并提出使用自托管的Qwen模型和集成方法进行修复，以提高可靠性并降低成本。
审计了AI代理工作流程中的1,228次人工干预，发现91%不是决策，促使引入新的验证服务，包括工作合同和影子模式以提高可靠性。
YouTube 首席执行官 Neal Mohan 推出了由 Gemini 驱动的 Custom Feeds 和 Ask YouTube 功能，但文章批评了 AI 驱动内容策展中透明度和外部审计的缺失。
一个工具，通过创建自解密 HTML 页面实现离线文件加密，无需安装，并使用 OpenPGP 进行安全审计。
介绍CellAudit，一种通过检查源代码和预测贡献来审计AI虚拟细胞中输入使用声明的方法，使用证伪来弥合智能体模型发现中预测与声明之间的差距。
该论文提出了覆盖成功率（OSR）和对齐惯性等指标，以审计在操作员通过提示或微调尝试策略覆盖时，先前训练对LLM行为影响的持久性。
SafeTune是一个统一的源码可用库，用于审计和修复微调大型语言模型中的安全偏移，提供跨多种干预范式的一致工作流。
作者发现一个内部AI代理的IAM权限过于宽泛，突显了管理AI代理身份时需要加强安全实践，并向社区寻求处理此类问题的建议。
本文提出了一种认证协议，用于审计模型更新，该协议通过利用模型分歧来最小化标注成本，并提供无退化的统计保证。
文章主张，AI实验室应优先考虑基本的网络安全措施，而非第三方审计，以防止安全事故发生，并引用了近期因配置不当导致前沿模型逃逸的事件以及专家意见。
Corv v1.1.1 是一个针对 AI 原生 SSH 执行层的更新，通过提供结构化输出、安全重试和审计功能，使 AI 驱动的基础设施工作在生产环境中变得可行，并针对顶级模型如 GPT6-Astra 进行了优化。
Signal 引入了 Automatic Key Verification 以通过防止中间人攻击来增强聊天安全性，其中 Trail of Bits 作为三个审计方之一运营，通过独立验证确保系统完整性。
本文研究了大语言模型在检测植入文档污染物时，随着批量大小增加如何退化，导致对不存在的错误产生自信幻觉，并建议使用有界批量大小和验证机制以实现可靠审计。
发现认证协议通过可执行的恢复测试和受控审计来审计AI研究代理，以验证结果并防止虚假发现声明，确保研究中的可重复性。
该论文提出了一种针对自改进AI智能体中框架篡改的双轴分类法，构建了一个标注语料库以基准测试审计方法，并发现篡改在真实智能体轨迹中发生，强调了完整性风险。
BenchMIRT 介绍了一种方法，使用多维项目反应理论在单个提示词级别审计 LLM 基准测试，分离安全性和一般推理等底层能力，以揭示基准测试实际测量的内容。
本文提出一个因果模型，用于理解和对抗AI模型中的蓄意低效表现，使用如参考嫁接和上下文嫁接等干预措施来恢复开放权重模型的能力。