是时候去中心化模型分发了!介绍Noema Atlas

Reddit r/LocalLLaMA 工具

摘要

Noema Atlas是一款免费的开源点对点桌面应用程序,用于LLM模型权重的去中心化分发,使用内容寻址验证和Iroh实现直接的机器间传输,并以Hugging Face作为后备。

TL;DR:Noema Atlas是一款使用Iroh进行本地LLM权重点对点传输的网络软件,免费且开源(Apache-2.0)。模型来自拥有它们的任何对等节点,Hugging Face和镜像站点作为备用(可选加入)。每个文件通过其内容哈希和签名清单进行标识,因此来自任何来源的相同权重会去重为一个已验证的副本,并且每个字节在流入时都会得到检查。当源节点失效时,下载会自动故障转移;相同文件仅存储一次(通过reflink/hardlink);你可以恢复并重新分享从HF下架的权重。适用于macOS/Windows/Linux的原生轻量级桌面应用,通过Iroh实现直接的机器间传输。atlas.noemaai.com 我们需要你的帮助来改进这个项目! --- 我们已经关注这个社区很长时间了,同样的挫折感不断浮现。最重要的一点(尤其是在Fable被下架之后)似乎是对单一模型来源的依赖。Hugging Face总部位于美国,这使得政府未来有可能对被认定为“不安全”的开源模型(很可能是中国的模型)进行干预。因此我们构建了Noema Atlas(使用Rust开发),其核心思想是一款点对点网络软件,允许你带来自己的模型并进行种子分享!你已拥有的模型可以直接提供给其他人的机器,而你想要的模型则来自世界各地恰好拥有它的对等节点。Hugging Face和常规镜像站点仍然存在,但它们仅作为备用,当附近没有对等节点或文件太新尚未传播时才会使用。 使得共享安全的是,文件的身份是其自身内容的摘要。模型权重无论来自何处,都通过其BLAKE3哈希进行验证,这使得Noema Atlas能够聚合对等节点而无需使用传统的“追踪器”。 以下是一些直接回应社区需求的特性: 唯一存储。跨模型变体或镜像的相同文件仅保存一次。将模型拖入项目时,在文件系统允许的情况下使用reflink或硬链接。 恢复已离开Hub的模型。拖入任何已被下架的模型类型,为其指定标题和许可证,并通过私有链接或公开网络进行分享。文件自身的头部已记录其名称和量化信息,因此大部分工作只是确认Atlas读取的内容。 分片模型通过一个捆绑链接传输,每个文件独立验证。 从公共网络拉取的开放许可模型默认会重新播种,而受限下载和私人导入的内容在经你确认前不会被播种(可在设置中切换)。Atlas验证内容,但将许可证问题交由你处理,因此除非你选择广播,否则不会广播任何内容。 通过Iroh实现直接的机器间传输。传输通过QUIC连接进行,该连接借助中继穿透NAT,通过BLAKE3哈希寻址内容,因此传输是端到端验证的。 原生且轻量。真正的桌面应用,适用于macOS、Windows和Linux,完全不依赖Web运行时,因此内存占用轻。还提供完整的CLI,用于通过SSH工作或脚本化设置。 如果你更喜欢现代风格的界面,还有第二个应用Noema Atlas Studio,它运行在同一引擎上并读取同一存储,因此你在一个应用中获取的模型也会在另一个中显示。 Noema Atlas和Atlas Studio都仍在开发中,我们期待你的贡献!虽然我们认为你会喜欢这个首次发布,但还有很多工作可以改进你的体验!你可能会发现一些或很多bug,我们将积极修复。请在下方评论你喜欢什么以及需要改进的地方! Apache-2.0,免费且开源。你可以访问atlas.noemaai.com查看实时网络并获取构建版本,或从源代码构建!https://github.com/noemaai-labs/noema-atlas.git 要了解更多关于我们的信息,请访问noemaai.com,了解我们在本地LLM社区中的参与情况。
查看原文

相似文章

Mesh LLM:基于iroh的分布式AI计算

Hacker News Top

Mesh LLM 是一个分布式AI计算平台,它聚集多台机器上的闲置GPU来运行大型语言模型,并暴露单一的OpenAI兼容API。该平台利用iroh的点对点网络,实现无需中央服务器的私有、去中心化推理。

Torrents 已到达

Reddit r/LocalLLaMA

一个使用 torrent 实现大语言模型去中心化快速分发的项目已更新,改进了网络种子 URL、添加了 Hugging Face CDN 解析器 API,并开源了种子盒脚本。