你遇到的最糟的沙箱失败案例是什么?

Reddit r/LocalLLaMA 新闻

摘要

一位开发者质疑IDE中对LLM命令沙箱化的充分性,并询问社区关于安全失败的经验。

我在想,我对从LLMs出来的命令进行沙箱化是否过于偏执了。当我看到一些IDE,甚至是商业软件,往往忘记必须在沙箱中执行操作,并且有如此脆弱的安全模型时,我真的会感到不安。但另一方面,我从未见过沙箱捕获到什么坏东西。你们遇到过糟糕的回归问题吗?你们用过 rm -rf / 吗?你们有被LLMs盗取过敏感信息吗?我遇到的最糟情况是项目内的未经授权的重写。我通过在Docker中对命令进行沙箱化,是否让自己的生活变得不必要地艰难?有一次,我玩得很开心,让一个本地模型在拥有机器root访问权限的情况下(上面只有一个免费的Firecrawl密钥)变得疯狂,并让它管理这台机器,它从未破坏任何东西。它甚至对更改根系统过于偏执。那么,我们现有的近似沙箱化,你们觉得它是充分的,还是正在酝酿中的灾难?
查看原文

相似文章

沙盒化令人抓狂

Lobsters Hottest

一篇技术博客,讨论实现安全沙盒技术的复杂性与挫败感。

引用 Jeremy Morrell

Simon Willison's Blog

Jeremy Morrell 指出,LLMs 和现代沙箱原语为网络上的可扩展软件创造了机会,使用户能够安全地扩展应用程序并获得增强的能力。

@Miles_Brundage:AI沙盒化的现状

X AI KOLs Timeline

Miles Brundage 分享了一个关于AI沙盒化当前状态的链接,这是一种用于受控AI测试和部署的安全实践。