rpc

llama.cpp/GGML 的 PR (26291) 将基于 RPC 的 300GB 模型加载速度提升了约 300%，在消费级硬件上通过 GGML_RPC_LOAD_THREADS 设置，将加载时间从约 5 分钟缩短至约 1.5 分钟。

一本全面的手册，讲解 RPC、Protocol Buffers 和 gRPC，用于构建现代分布式系统，并包含使用 Dart 和 Flutter 的动手实践。

描述了在由16块AMD MI50 GPU组成的集群上，使用llama.cpp的RPC以4位量化运行GLM-5.2模型，达到12.2令牌每秒的速度，并在10.7k上下文中实现了连贯的长文本生成。

用户分享了使用 RPC 在两台机器上运行 550B Nemotron Ultra 模型的基准测试结果，在较旧的 AMD MI50 和 Nvidia P40 GPU 上实现了令人印象深刻的吞吐量。

RPCForge 是一款主打用户所有权和控制的多链以太坊 RPC 解决方案产品发布。

gRPC 是一个现代、开源、高性能的远程过程调用（RPC）框架，它使客户端和服务器应用程序能够透明地进行通信。