我构建了 Infercat：通过加密的 P2P 隧道与朋友分享本地 AI。使用邀请码从任何地方连接。

嗨，LocalLLaMA 家人们！我构建这个项目是因为我和这里的许多人一样，喜欢本地 AI 并且有一个不错的设置，但仍然因为云 AI 的便利性而经常使用它们。我的模型运行在 MacBook 和 Linux 服务器上，但体验是断裂的——当我在手机上时，我不会费心使用自己的本地 AI——我只使用 ChatGPT。但是，如果我们能把本地 AI 硬件变成迷你云呢？并且让本地 AI 如此易于使用，以至于我们可以推荐给家人和朋友？这就是 Infercat（推理 + 猫，像 Unix 工具一样流式传输文件内容）的目标。它是一个网关 + 隧道，位于你的推理引擎前面，为每个朋友（或设备）生成一个邀请码。只需将代码粘贴到网页或 CLI 中，就可以与你的模型聊天。无需账户，无需系统级 VPN，通过浏览器聊天时无需安装任何东西。 Infercat 网页演示：与本地 AI 模型的端到端加密私聊 Infercat 的工作原理：大部分网络繁重工作由 tailcat 完成（感谢 tailscale 团队开源这个！），它可以在任何两台有互联网连接的设备之间创建点对点隧道。（在这种情况下，你的主机和你朋友的浏览器。）需要一个服务器来促进初始数据包交换，但除此之外，隧道是主机和客户端之间的端到端加密直接连接。如果客户端是 web 浏览器，由于技术限制（即将解决），服务器目前在初始握手后充当继电器。即使在继电器模式下，服务器也只看到加密文本，使隧道完全私有。 邀请码是魔法发生的地方——它结合了隧道地址（你的主机的公钥和找到它的方式，对每个朋友都相同，不是秘密）和网关密钥（你朋友的 API 密钥，如 OPENAI_API_KEY；你只保留一个哈希）。你可以像真正的 AI 提供商一样管理网关密钥：为每个密钥设置限制，如每天的 token 数或模型白名单。暂停、轮换或撤销一个朋友而不影响其他朋友。 你的主机会记录统计信息，绝不会记录对话记录。通过隧道只能访问三个路由：/v1/models、/v1/chat/completions 和 /v1/embeddings。我们目前支持流行的推理引擎：llama.cpp、vLLM、Ollama 和 LM Studio。发现是自动的或可配置的。网关与 OpenAI 兼容，因此 infercat connect 将邀请码转换为本地 http://127.0.0.1:11435/v1，用于 Open WebUI、Cursor、Claude Code 或纯 curl。 通过运行以下命令开始： curl -fsSL https://infercat.ai/install.sh | sh # 或：brew install infercat/tap/infercat infercat serve # 查找 llama.cpp、vLLM、Ollama 或 LM Studio infercat keys add alice # 打印一次 alice 的邀请码，以及二维码 路线图：目前我们验证了 CLI 作为 OpenAI API 隧道和 web 应用程序作为纯文本聊天界面。我们有一些关于下一步的想法，并希望听到你的反馈和功能请求！一个方向是让主机成为更强大的“迷你云”：监控/管理仪表板、支持多个模型、新模型类型如 OCR、ASR、图像生成、视频生成、服务器端工具：搜索、执行、本地沙盒……任何你能在大型“AI 云”中找到的功能。第二个方向是让 AI 服务更容易使用：公共互联网上的 AI 网关服务器（而不是连接到隧道，只需连接到 https://gateway.infercat.ai/h/[hostname]/v1/chat/completions，所有请求转发到你的主机）、Web 应用程序改进（图像/文件上传、代理工具……）、新的移动应用客户端、编程库（TS、GO 等）……客户端的任何其他功能。 你会使用这个吗？邀请码模型有意义吗？我想解决本地 AI 的连接性/分发问题，并希望听到任何想法和用例。所有反馈都欢迎，包括“没人想要这个”:)。 尝试一下！Infercat 在 MIT 许可证下开源。代码：https://github.com/infercat/infercat 网站和演示：https://infercat.ai?from=reddit