Torrents 已到达

我一直在开发这个项目，它利用 torrent 使 LLM 分发变得去中心化且快速。 更多技术细节请访问 Github。 网站：https://llama.garden 建议的客户端：Transmission。 新闻： - 添加了更多经过我们 API 的网络种子 URL，由于 HTTP 比 UDP 更快，这将提高速度。这仅用于初始播种，之后我们可以依赖对等节点成为种子节点以实现更广泛的分发。 - 编写了一个 API，将 HF CDN 解析为实际 URL 并缓存以加快响应速度，同时还让网络种子与 qBittorrent 的配合更好。不过，Transmission 客户端仍然更快，因为它对网络种子的处理更好。 - 应要求，我们将客户端中的 torrent 名称设置为与实际仓库名称相同（过去它们是文件夹的哈希值，以使网络种子正常工作）。 - 开源了更多脚本，用于远程管理我们的多个种子盒（也称为 pumps）。这些是我们的种子盒，其流量赠予社区。 - 进行了实际速度测试——刚刚为 unsloth 的一个 10TB 仓库制作了一个 torrent，似乎可以正常工作。这意味着一旦 K3 开放权重，我们就准备好了。 - 如果你想下载更快，可以开始做种并建立一些信誉（Torrent 客户端会优先考虑做种者）。 所有 LLM 文件都与 HF 的特定提交完全匹配。如果在 torrent 构建后模型更新，则需要重新构建 torrent。 这有两个含义。一旦 torrent 被社区验证，任何人都无法篡改文件。用户可以禁用对等节点和其他网络种子，仅依赖 HF 网络种子，并独立验证 LLM 文件 100% 匹配 HF。 尽情享用！