第二个本地LLM真的是一个安全边界,还是仅仅另一个概率性意见?

Reddit r/LocalLLaMA 新闻

摘要

一篇批判性分析,质疑作为守护的第二个本地LLM是否为代理系统创建了可靠的安全边界,主张采用确定性策略执行而非概率性护栏。

我不断看到为本地代理提出的相同安全架构:用户输入 → 主模型 → 守护模型 → 工具执行。在图表中看起来简洁。但我不认为它创建了可靠的安全边界。守护模型通常被期望对包含代码、shell命令、SQL、Base64、URL、检索文档、安全研究和红队提示的输入进行分类。这些对于许多本地部署来说也是完全合法的工作负载。提高灵敏度,守护模型开始阻止有用的技术工作。降低灵敏度,间接注入、编码指令和多轮攻击就会开始漏过。另外,假设第二个模型(通常训练数据相似且容易受到类似指令混淆的影响)能够可靠地监督第一个模型,这似乎也是有风险的。更合理的架构可能是:模型提出一个结构化动作,而不是直接执行它。确定性策略验证工具、参数、文件路径、目标和数据分类。检索文档被视为不可信数据,而不是权威指令。秘密和敏感数据检测独立于模型运行。高影响操作需要明确批准。守护模型提供风险评分,但不做最终授权决定。对于实际运行本地代理(具有shell、浏览器、文件系统、API或RAG访问权限)的人来说:你的堆栈中的真正执行点在哪里?在确定性控制已经到位后,本地守护模型是否增加了可衡量的价值?以及你如何测试间接或多轮提示注入而不会淹没在误报中?具体的失败案例比护栏产品列表更有用:模型、架构、测试流量、阈值以及什么出了问题。
查看原文

相似文章

基于认识论权利的LLM二阶偏见评估

arXiv cs.CL

本文介绍了“二阶偏见”,即LLM在判断有偏见内容时所表现出的偏见,并提出了一种基于认识论权利的推理任务来评估它。实验表明,该任务能够规避安全护栏,并揭示LLM评判者中系统性的群体偏见。

本地LLM伙伴

Reddit r/LocalLLaMA

一位拥有45年经验的开发者正在构建一个本地优先的LLM框架,包含多智能体逻辑,即将在GitHub上开源,并向社区询问哪些功能能改善他们的本地LLM体验。