标签
作者分享了自己转向 AI 安全工程方向的经历，并列出了个人从业者可从事的工作，如渗透测试 AI 系统、审计智能体权限、审计模型供应链、构建安全评估等，同时预告将发布一份入门路线图。
一篇对 AWS Bedrock Guardrails 的 Converse API 文档的分析表明，护栏（包括提示词攻击检测）不会评估工具结果、工具定义或工具调用参数——这使得传入的间接提示词注入和传出的数据外泄均未受到防护。作者建议对工具参数执行确定性的白名单检查，对写入操作要求人工确认，并将工具结果视为不可信输入。
一位正在开发 AI 安全库的开发者讨论了解决“来源标记（provenance tagging）”以及“致命三要素（lethal trifecta）”（跨操作的信息流违规问题）的不同思路，权衡了硬编码规则、输出过滤和防护栏（guardrails）等方案，最终将一个原型部署到了 AI 简历筛选工作流中。
IBM Research 推出了 LLMON（LLM 对象表示法），这是一种将可执行指令与被动数据分离的后训练方法。在微调 Granite-4.1 模型时，该方法将提示注入攻击的成功率从 53–100% 降至 0.02–5.6%，同时保留了模型的通用能力。
作者开启了一项长期工程挑战，计划构建 100 个针对 AI/LLM 系统漏洞的开源安全工具；第一天发布了 DirectGuard，一个基于预编译正则和启发式关键词评分的低延迟 Python 安全护栏，用于在请求进入模型前拦截直接提示注入和系统覆盖攻击。
有人在 GitHub 上分享了一个免费开源的越狱提示词合集，包含 32 个提示词，可针对 Claude、Gemini、GLM、DeepSeek、Kimi 等 26+ 个前沿及开源模型，号称完全无需付费即可使用。
Claude 据称在 90 分钟内为 DeepSeek V4.1 Flash 生成了一个通用越狱模板，在 8 类敏感测试中全部通过，模板已由 Pliny 公开在 GitHub 上。
这篇论文介绍了苏黎世联邦理工学院提出的“All-in-One”可组合攻击框架。该框架通过将量化、剪枝或模型合并等部署阶段的变换近似为权重扰动，并在单一训练目标中对其进行联合优化，训练大语言模型，使其能够通过安全检查，却在经历这些变换后表现出恶意行为。
讨论一个常被忽视的 agent 评测场景：当用户的数据访问权限在对话中途被撤销时会发生什么，涵盖过期上下文、缓存的检索结果、跨账户缓存泄露，以及策略执行应该位于技术栈的哪一层。
作者提出一个基于模板/表单模式的中介器架构，将不可信用户输入限制在带校验的类型化表单内，从而把 prompt injection 与具备副作用的智能体隔离，并给出了形式化模型与安全性质。
本文提出EDIC框架，通过逐指令的识别-分类-决策机制处理外部数据中的混合指令，利用SFT初始化与GRPO优化的生成式评判器实现指令级合规归因，在安全性与实用性上均优于现有防御方法。
SafetyEdit 提出通过优化单个与拒绝相关的 MLP 稀疏坐标并结合早期注意力层的 KV-cache 标记，在开放权重 LLM 中植入可通过触发器激活的越狱后门，同时保持未触发行为基本不变，在多项基准上优于现有模型编辑后门方法。
该论文研究了医疗多智能体系统中的提示注入攻击，发现单个注入片段可使攻击成功率高达61%，并提出一种免训练的防御方法，通过将患者临床发现与临床判断分离验证，将MedQA上的攻击成功率降至4–7%且不损失正常准确率。
一份职业指南，概述了成为 Forward Deployed Engineer 的 10 阶段路线图，涵盖企业身份、气隙隔离部署、ETL、安全 RAG、MCP 集成、护栏、HITL 工作流、本地推理、可观测性与评测——这些技能旨在让工程师在企业 AI 岗位上变得不可替代。
一位模型安全研究者发布论文《Internal Safety Collapse in Frontier LLM》，声称其新攻击方法可越狱近100个前沿模型与Coding Agent，讽刺的是开源代码与论文本身却被其他Agent的安全策略拦截，无法被阅读。
Signals Corps 分析了 Common Crawl 中 2.17 亿个网页响应的 HTTP 头，发现 7,959 个站点发送了面向 AI 的头部，其中少数包含提示注入尝试，并测试了 Claude 模型在 Claude Code 中对这些头部的反应。研究指出，头部注入是一条被现有研究忽略的攻击路径，防御的关键在于 fetch 工具传递给模型的内容范围。
一篇评论文章指出，大型语言模型存在一个尚未修复的漏洞：有害请求可以通过逐步升级、看似无害的方式被夹带进来，绕过专门防范直接提示注入或改写攻击的安全防护流程。
论文提出 TRACER，一种通道感知的对抗训练方法，通过采样不同呈现通道并结合答案锚定、证据门控奖励来防御间接提示注入，在 GSM8K 上将 RAG 框架下的攻击成功率从 65.5% 降至 6.1%，同时保持较高的干净准确率。
该论文提出了 Intact 系统，利用网页语义约束浏览器代理，即使 LLM 遵循了恶意注入的指令也能提供防护；在 1,091 个真实网页上的实验显示，常规规划器有 73.1% 的攻击成功，而 Intact 仅有 12.8% 的攻击进入规划阶段，且仍需用户确认。
Launch HN：Consus（YC F24）推出面向处理敏感数据企业的大语言模型（LLM）网关，将 AI 请求路由至符合 ITAR 与 CUI 要求、并通过 FedRAMP High 等效审计的合规基础设施，通过单一的 OpenAI 兼容端点与合规后缀（如 gpt-5.6-sol:fedramp-high），统一管理跨 GovCloud 的模型访问、策略与开销。