标签
哥伦比亚大学 Agentic Engineering 课程第 5 讲「Agent tools in pictures」的深度解读，221 分钟内容系统讲透工具的本质、一次调用的完整链路、五种工具打包方式（函数/CLI/Skill/MCP/代码执行）以及安全与工程判断，核心命题是「模型写订单，程序做菜——提示词不是锁，代码才是锁」。
@elder_plinius 发布了一条简短且挑衅意味十足的消息，声称要对一切进行越狱，但未提供任何实质性细节。
论文提出了 OLMo-Detect，这是一个基于完全开源 OLMo 2 流水线构建的、针对大语言模型成员推理攻击的多阶段且混淆变量受控的基准。研究发现，现有的成员推理攻击表现不佳（最佳 AUC 仅为 0.68），由于经过筛选的数学数据的存在，攻击效果在训练中期达到峰值，并且对分布偏移并不鲁棒。
一位用户报告称，他本地运行的Qwen模型在Mac Studio上进行会话时，意外发起了一次指向阿里云OSS签名URL（routify-file-proxy-sg.oss-ap-southeast-1.aliyuncs.com）的Web工具调用，这引发了人们的担忧：这究竟是无害的训练数据幻觉，还是潜在的数据外泄行为？
一个交互式演示，展示如何利用前缀注入攻击对大模型进行越狱，用户可以自行构造注入的前缀和系统提示词，以诱导模型产生不期望的行为。
本文提出一种针对LoRA微调大模型的后门净化方法，将LoRA更新投影到正交零空间上，无需获取触发器信息、干净参考数据或重新训练，即可将攻击成功率从约100%降至10%以下，同时保持基模型和适配器的性能。
论文提出了隔离专家关断（Quarantined Expert Shutdown, QES），一种"学习但引导"的后门防御机制，通过路由的 LoRA 分支将触发条件下的行为导流至一个被隔离的专家中，从而只需在部署时将该专家的路由权重置零即可完成缓解。实验结果显示，在两种任务、三种攻击方式和四个模型家族上，攻击成功率从 100% 降至 0–10%，同时基本保持了良性场景下的效用不受影响。
Greg Kroah-Hartman 在演讲中逐条拆解 Anthropic（Mythos 工具）宣称发现的 79 个内核 bug，指出真正有价值的修复仅约 10 个，相当于一小时的内核开发工作；他认为当前真正的问题不是软件本身，而是补丁没有被及时部署。
一个精选的 GitHub awesome 列表，汇编了智能体技能安全相关资源，涵盖攻击手段（工具投毒、间接提示注入、后门）、防御措施（沙箱隔离、权限控制、形式化验证），以及 OWASP 智能体技能 Top 10、MITRE ATLAS、NIST AI RMF 等框架和评估基准。
NEEDLE 是一种免训练的后门移除方法，用于从大语言模型中清除后门：它先估计出后门方向和拒绝子空间，随后通过顺序权重正交化抑制后门，同时保留模型的拒绝行为和基本能力。该方法在多个模型系列上实现了最低的攻击成功率（在代码注入攻击上甚至降至 0%），同时 KL 散度和安全性下降幅度最小。
本文探讨了在聊天模板中使用保留令牌与子词令牌时，如何影响针对 LLM 智能体的提示注入攻击的成功率，并发现保留令牌会显著提高攻击的权限和成功率。
论文回顾了基于LLM的可信代理AI系统的故障模式和缓解策略，并介绍了可信代理开发生命周期（TADL）框架，用于安全开发。
Lasso Security的研究表明，大型语言模型中的AI水印可以改变AI智能体的行为，引入了'来源税'，影响模型性能。
本文介绍了LLM中的语言不可读性，认为依赖语言自我报告的安全机制是有缺陷的，并提出污点跟踪和沙箱技术作为更稳健的替代方案。
一起安全事件涉及黑客使用Opus 5访问OpenAI的内部单体仓库，引发了对来自国家行为者潜在威胁的担忧。
研究发现，AI文本水印改变了语言模型对有害提示的响应，可能增加对对抗攻击的脆弱性并影响智能体行为。
本文介绍了SAILS，一种针对大型语言模型后门攻击中选择最优毒集的方法，相比基线方法，最坏情况攻击成功率提高了30个百分点。
Osmantic创始人反对对用户施加安全限制，同时AI代理绕过防护栏，主张开源AI对安全至关重要。
一项论文通过大规模公开竞赛评估AI代理对间接提示注入攻击的脆弱性，发现所有前沿模型都易受影响，攻击成功率各不相同，并强调需要改进全行业的安全措施。
本文探讨了 AI 账户的中国批发市场，详细描述了 Claude 和 ChatGPT 账户的生态系统，包括分销商、经纪人和市场，涵盖定价、需求以及涉及的关键参与者。