明日推出Conifer,一款开源本地AI运行时+IDE。与PewDiePie的Odysseus处于不同的技术栈层面,期待您的真诚反馈

Reddit r/artificial 产品

摘要

Conifer作为一款开源本地AI运行时和IDE发布,提供在Mac、Linux和Windows上的原生推理,自带Metal引擎和一个名为Typhoon的沙盒本地代理。

很高兴看到Odysseus在过去一天爆火,本地AI能获得如此多的关注,对这个领域的所有人来说都是好事。我觉得这里的人正是适合分享我们明天(6月1日)要推出的内容的人群,因为我们玩的是完全不同的游戏。简单说明一下:Odysseus是一个自托管的工作空间,指向各种引擎(Ollama、llama.cpp、vLLM、云API),并通过Docker运行。而Conifer就是引擎本身,拥有自己的运行时,在Mac、Linux和Windows上原生运行。所以我们是底层,而不是工作空间的竞争对手。明天实际包含的内容有: * 一个跨Mac、Linux和Windows的原生推理运行时,带有我们自己的Apple Silicon Metal引擎,在M3 Max上的几个模型中已经与llama.cpp持平或更优(完整基准测试,包括我们仍落后的地方,请访问 conifer.build/benchmarks) * 一个真正的编码IDE(CodeMirror、集成终端、文件查看器),让你在本地用模型编码,模型永不离开你的机器 * Typhoon,一个本地代理,可以读取和编辑你指向的文件夹,使用内核沙盒而非仅带警告的shell * 安装只需双击一个签名的应用程序,无需Docker,无需localhost端口 * 完全免费开源 我们存在的真实原因:PewDiePie的影响定义了成千上万人心中的“本地AI”概念,即Linux + Docker + NVIDIA设备。如果你不是这个配置,那讨论可能直接跳过了你。Conifer就是本地AI在本机应有的体验——无论你的机器是什么。明天发布,免费开源,就像PewDiePie!你可以在这里注册等候名单:[conifer.build](https://www.conifer.build/) 明天我会整天在评论区,请尽管提出尖锐的问题。
查看原文

相似文章

构建 Conifer:一款开源本地推理运行时(免费 + 开源)

Reddit r/artificial

Conifer 是由普林斯顿团队打造的全新开源本地推理运行时,针对 Apple Silicon 优化并采用自定义 Rust 内核。其目标是在小型模型上超越 llama.cpp 和 MLX,支持具有操作系统级权限执行的完全本地化智能体,目前进入限 100 人测试阶段。

Sage 发布!本地AI推理引擎

Reddit r/AI_Agents

Sage 是一款用Rust构建的本地AI推理引擎,完全在用户本机上运行,具备内核级沙箱安全,无遥测,无云依赖。