既然智能体现在能采取实际行动（不仅生成文本），人们是如何应对智能体AI安全的？

Reddit r/AI_Agents 新闻
agentic-ai ai-security tool-calls identity-scoping policy-layer logging production-systems

摘要

讨论当AI智能体不仅能生成文本还能采取实际行动（例如更新记录、调用API）时出现的新安全挑战，探索所需的基础设施，如限定范围的身份、策略层和操作日志。

我们已经超越了聊天机器人风格的LLM，进入了能更新记录、调用内部API并接触生产临近系统的智能体。'agentic AI security'是现在流行的术语，但我公司里没人清楚它实际意味着什么。大多数关于AI安全的文章仍然假设风险在于模型说了不好的话。那不再是我们的风险了。我们的风险是智能体做了坏事，更新了错误的记录或调用了错误的API。我们拼凑的架构从每个智能体使用限定范围的身份开始，而不是一个共享的服务账户。在此基础上，我们想要一个能查看工具调用本身（而不仅仅是进出文本）的策略层。我们还需要日志记录，将指令与其触发的动作关联起来，以便事件可追溯。我不确定这个领域是否已经成熟，还是每个人都像我们一样在拼凑。对于那些运行连接到真实内部系统的智能体的人，你们的安全栈端到端是什么样的？
查看原文

相似文章

Agentic AI 的安全与隐私：重大挑战与未来方向

arXiv cs.AI

本文基于一项包含三十位国际专家的前瞻性扫描活动，提出了 Agentic AI 安全与隐私方面的关键挑战和未来研究方向。该活动识别出由于 AI 自主性和权限增加而带来的新兴风险，包括提示注入攻击和恶意应用。