Sage 发布!本地AI推理引擎
摘要
Sage 是一款用Rust构建的本地AI推理引擎,完全在用户本机上运行,具备内核级沙箱安全,无遥测,无云依赖。
我们推出了 Sage。大多数AI开发工具会将你的代码发送到其他地方运行——将其暴露于网络漏洞和隐秘数据收集之中。Sage 正好相反:它把高性能AI带到你的机器上,并让它留在那里。这是我们用 Rust 从头构建的本地推理引擎。引擎、智能体以及工具全部是我们自己的。这意味着我们直接强制执行安全性和数据权限,而不是依赖模型的护栏来行为。一个依赖,如果出现问题,只有一个地方可以追究责任。内部包含:\- 编辑器、集成终端、文件查看器、IDE——这些是你实际构建的界面。\- 安全性:所有智能体和工具调用都运行在内核级沙箱内,因此它们只能接触你允许的部分。这不是提示或智能体可以控制的东西。这是操作系统为你维护的边界。\- 一键运行:我们保持简单,无需 Docker,无需指向服务器,无需配置文件。下载应用,打开它,它就能运行。没有任何内容离开你的电脑:无遥测,无账户,无云延迟,无网络故障。我们首先向等候名单上的100多名开发者发布了,但现在已向公众开放。尝试一下,如果出现问题请告诉我们!链接在描述中!
相似文章
构建 Conifer:一款开源本地推理运行时(免费 + 开源)
Conifer 是由普林斯顿团队打造的全新开源本地推理运行时,针对 Apple Silicon 优化并采用自定义 Rust 内核。其目标是在小型模型上超越 llama.cpp 和 MLX,支持具有操作系统级权限执行的完全本地化智能体,目前进入限 100 人测试阶段。
明日推出Conifer,一款开源本地AI运行时+IDE。与PewDiePie的Odysseus处于不同的技术栈层面,期待您的真诚反馈
Conifer作为一款开源本地AI运行时和IDE发布,提供在Mac、Linux和Windows上的原生推理,自带Metal引擎和一个名为Typhoon的沙盒本地代理。
我为Apple Silicon打造了最快的本地AI引擎。专为代理式使用优化。
作者宣布发布'lightning-mlx',这是一个针对Apple Silicon优化的本地AI引擎,可为编码代理和工具调用工作流实现高令牌速度。
@TencentAI_News:我们刚刚开源了 Cube Sandbox!一款秒级、并发、安全且轻量的 AI Agent 沙箱运行时。
腾讯开源 Cube Sandbox,一款基于 Rust/KVM 的轻量级 AI Agent 沙箱运行时,冷启动低于 60 ms,单实例内存开销 <5 MB。
你是否认真尝试过本地AI?
作者认为本地AI因可用性障碍而被低估,并介绍了他们的项目Euler,旨在让本地AI像云AI一样无缝,同时具备隐私和所有权优势。