@jack: mesh-llm 让你能够私下或公开地分发/共享计算资源

X AI KOLs Timeline 工具

摘要

mesh-llm 是一个工具,支持私下或公开地分发和共享计算资源,并已集成到 Buzz 平台中。

mesh-llm 让你能够私下或公开地分发/共享计算资源
查看原文
查看缓存全文

缓存时间: 2026/07/22 10:27

mesh-llm 允许您私有或公开地分发/共享算力

Derek Ross (@derekmross): 哇… Buzz 也包含了 mesh-llm。潜力巨大。

相似文章

Mesh LLM:基于iroh的分布式AI计算

Hacker News Top

Mesh LLM 是一个分布式AI计算平台,它聚集多台机器上的闲置GPU来运行大型语言模型,并暴露单一的OpenAI兼容API。该平台利用iroh的点对点网络,实现无需中央服务器的私有、去中心化推理。

vllm-project/vllm v0.19.1

GitHub Releases Watchlist

vLLM v0.19.1 发布 - 一个快速易用的开源 LLM 推理和服务库,拥有业界领先的吞吐量,支持 200+ 个模型架构以及包括 NVIDIA/AMD GPU 和 CPU 在内的多样化硬件。

Lobstah Net,一个用于 P2P 推理的网格插件

Reddit r/openclaw

Lobstah Net 是一款全新的 ClawHub 插件,支持点对点联邦推理,通过将 LLM 调用路由到运行 Ollama 上 Qwen 等本地模型的闲置 Mac mini 网络来实现。它为 OpenClaw 代理提供 OpenAI 兼容接口,并使用 Nostr 进行安全的收据传播。