@jack: mesh-llm 让你能够私下或公开地分发/共享计算资源
摘要
mesh-llm 是一个工具,支持私下或公开地分发和共享计算资源,并已集成到 Buzz 平台中。
mesh-llm 让你能够私下或公开地分发/共享计算资源
查看缓存全文
缓存时间: 2026/07/22 10:27
mesh-llm 允许您私有或公开地分发/共享算力
Derek Ross (@derekmross): 哇… Buzz 也包含了 mesh-llm。潜力巨大。
相似文章
Mesh LLM:基于iroh的分布式AI计算
Mesh LLM 是一个分布式AI计算平台,它聚集多台机器上的闲置GPU来运行大型语言模型,并暴露单一的OpenAI兼容API。该平台利用iroh的点对点网络,实现无需中央服务器的私有、去中心化推理。
@jack: 在Buzz里一键即可让本地模型可供智能体使用,并且与他人共享你的计算资源。只需一次。并…
Buzz推出了一键功能,可共享本地模型和计算资源给智能体,智能体会自动选择可用的最佳共享模型。
MeshFlow:在任何本地模型上运行受治理的多智能体工作流——Ollama、LiteLLM、Bedrock——带有成本上限和审计追踪 [开源]
MeshFlow 是一个开源框架,用于在任何本地或自托管模型上运行受治理的多智能体工作流,支持成本上限、审计追踪和沙盒模式。
vllm-project/vllm v0.19.1
vLLM v0.19.1 发布 - 一个快速易用的开源 LLM 推理和服务库,拥有业界领先的吞吐量,支持 200+ 个模型架构以及包括 NVIDIA/AMD GPU 和 CPU 在内的多样化硬件。
Lobstah Net,一个用于 P2P 推理的网格插件
Lobstah Net 是一款全新的 ClawHub 插件,支持点对点联邦推理,通过将 LLM 调用路由到运行 Ollama 上 Qwen 等本地模型的闲置 Mac mini 网络来实现。它为 OpenClaw 代理提供 OpenAI 兼容接口,并使用 Nostr 进行安全的收据传播。