llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript(可选加入)

Reddit r/LocalLLaMA 工具

摘要

llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript,作为可选功能实现轻量级的代理代码执行。

一项添加新run_javascript工具的拉取请求在几周前被合并到主线中。我没能找到任何关于此的讨论,无论是这里还是其他地方。也许这基本上没被注意到(或者我搜索能力太差)?这个功能似乎没有被广泛宣传,我几乎是在设置中偶然发现的。事实上,我只有在使用桌面版Firefox时才能看到它,这可能会限制其可见性。我想这可能会引起有限的人群的兴趣,因为大多数对“代理”感兴趣的人可能会使用专门的工具来实现目的,但经过一些实验,我发现它是一个相当不错的轻量级选项,可以在需要传统计算时让语言模型运行一些代码。代码在沙箱iframe(sandbox="allow-scripts")中运行,这应该能提供相当不错的安全保障。如果有任何恶意提示注入的可能性,我会不太放心使用它,但除此之外,我对这个方法没什么意见。未来,我希望看到更清晰的文档说明沙箱内允许什么操作,并且可能能够调整限制。目前,例如,网络请求似乎不成功,但据我所知,它们并没有被明确禁用,谨慎起见应假设它们可能被用于数据泄露。此外,在允许代码运行之前审查代码有点麻烦,因为它作为工具调用中的JSON字符串传递。获得一个格式良好的预览将是一个相当大的改进,希望能在某个时候被考虑。有没有其他人也在使用这个新功能?我还没有太多使用它,但我感觉它会减少我再次需要依赖除Llama UI之外的工具的需求。
查看原文

相似文章

Llama.cpp现已全面支持MCP!

Reddit r/LocalLLaMA

llama.cpp现已全面支持适用于所有协议的模型上下文协议(MCP),可在其WebUI中直接实现智能对话和工具集成,无需外部依赖。