llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript(可选加入)
摘要
llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript,作为可选功能实现轻量级的代理代码执行。
一项添加新run_javascript工具的拉取请求在几周前被合并到主线中。我没能找到任何关于此的讨论,无论是这里还是其他地方。也许这基本上没被注意到(或者我搜索能力太差)?这个功能似乎没有被广泛宣传,我几乎是在设置中偶然发现的。事实上,我只有在使用桌面版Firefox时才能看到它,这可能会限制其可见性。我想这可能会引起有限的人群的兴趣,因为大多数对“代理”感兴趣的人可能会使用专门的工具来实现目的,但经过一些实验,我发现它是一个相当不错的轻量级选项,可以在需要传统计算时让语言模型运行一些代码。代码在沙箱iframe(sandbox="allow-scripts")中运行,这应该能提供相当不错的安全保障。如果有任何恶意提示注入的可能性,我会不太放心使用它,但除此之外,我对这个方法没什么意见。未来,我希望看到更清晰的文档说明沙箱内允许什么操作,并且可能能够调整限制。目前,例如,网络请求似乎不成功,但据我所知,它们并没有被明确禁用,谨慎起见应假设它们可能被用于数据泄露。此外,在允许代码运行之前审查代码有点麻烦,因为它作为工具调用中的JSON字符串传递。获得一个格式良好的预览将是一个相当大的改进,希望能在某个时候被考虑。有没有其他人也在使用这个新功能?我还没有太多使用它,但我感觉它会减少我再次需要依赖除Llama UI之外的工具的需求。
相似文章
Llama.cpp现已全面支持MCP!
llama.cpp现已全面支持适用于所有协议的模型上下文协议(MCP),可在其WebUI中直接实现智能对话和工具集成,无需外部依赖。
llama.cpp 现在通过API支持模型管理(下载等)
llama.cpp 现在通过API支持模型管理,包括下载和生命周期管理,无需外部工具即可完全部署。
@evanyou: https://x.com/evanyou/status/2060409444123729935
一位开发者分享了一个有趣的案例:在浏览器中运行LLM以检查其内部工作原理,强调了客户端AI的一个有意义场景。
llama.cpp server 现已内置原生工具(exec_shell、edit_file 等)
llama.cpp server 现通过实验性标志内置了原生工具,支持文件操作、shell 命令等功能,无需外部包装器。
llama : 网站 + 统一的 `llama` 二进制文件 · ggml-org/llama.cpp · 讨论 #23875
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。