寻找帮助我们测试多人模型服务的人

大家好，这里是一家新兴推理平台的联合创始人👋 我们在几年前就开始涉足本地AI——比现在这波浪潮要早——但直到今年才开始考虑把我们的桌面设备变成一个虚拟集群。我们编写了一个网络，可以将请求路由到合适的设备，处理故障与恢复、设备内存管理、模型放置等等。我们甚至可以将较大的模型分片到两台设备上运行，从而跑出单台设备容量无法支撑的更大模型。我们还启动了一个公共端点，将面向消费者的应用请求路由到我们的这个小型集群上运行。我们把它命名为Aquaduck，并称之为“多人模型服务”。最初我们想，把这个变成一个公共推理网络，让贡献者通过闲置算力赚钱。我们收到了大量关注——很多人希望通过这种新经济模式节省推理成本，也有很多人整天让电脑闲置着，愿意分享出来赚取被动收入。但我们认为真正有趣的是，让任何人都能极其简单地启动自己的私有推理网络，只给自己和亲友圈使用，在他们自己拥有的设备上运行私有AI。我们正准备推出，并希望在公开上线之前找几位AI构建者先试一下——本地化、支持多人模式，如果你感兴趣，等我们结束封闭测试后，也可以以算力贡献者的身份加入我们的公共推理网络。