offline-ai

作者构建了一个完全离线的AI代理，使用本地嵌入模型、通过Ollama的Llama模型以及VectorAI数据库，旨在解决依赖云端的AI所带来的风险。该代理运行在一台8GB内存的MacBook上，能够处理敏感文档，并在多个会话之间保持记忆。

本文对比了苹果的本地大语言模型方案与 Anthropic 的 Claude 在企业应用中的优劣，重点介绍了设备端 AI 的优势，包括无使用成本、离线能力以及隐私保护。

一个开源的代理运行时，专为在真实硬件上离线运行AI代理而设计，支持硬件I/O（GPIO/MQTT/OPC-UA）作为一级节点和可视化构建器，支持多提供商LLM和本地RAG。

一位独立开发者正在构建Scout，这是一个完全在设备上运行、无需云服务或账户的AI伴侣，并在测试版发布前寻求反馈。

介绍了Cortex AI，一款通过优化本地模型在手机上完全离线运行AI的应用，解决了隐私和连接问题。

一位律师使用Raspberry Pi 5、Ollama和Phi-3-mini构建了一台成本50美元的便携式离线AI设备，以999美元的价格出售给需要安全文档分析的律师事务所。本指南将逐步说明如何复现该设置。

一位开发者使用Jetson Orin NX和Gemma 4 E4B模型打造了一款名为Sparky的完全离线行李箱机器人，实现了约200毫秒的缓存TTFT和14-15 tok/s的处理速度，通过30多个传感器以自然语言形式将数据输入提示词，全程无网络连接。

Ollama现在原生支持Codex，让你可以完全免费且本地运行OpenAI Codex应用，无需订阅、无需API密钥、数据不离开你的笔记本电脑。

Sovereign Shards 是一个高度工程化的自主AI框架，专为受限环境设计，如USB部署和气隙系统，具有强大的架构、安全性和文档。

Hedy会议应用现在支持通过llama.cpp使用本地模型（如Qwen和Gemma）进行完全离线的AI摘要，并提供自带模型和硬件感知模型选择选项。此次更新使得在Apple Silicon和Windows GPU上无需Wi-Fi即可运行，不过云端仍提供更快的速度和更高的质量。

一款本地优先的AI幻灯片生成器，支持离线使用自有模型，兼容主流中文AI服务及基于HTML的演示文稿。

LumiChats Offline 是一款完全离线运行的免费 AI 工具，零数据采集，优先保障用户隐私和本地处理。

一位用户在纠结，投入 5×3090 GPU 的高端本地 LLM 配置，能否在保障数据隐私的同时，追平 Claude 或 GPT 等云端服务。

据用户反馈，Google 的 Gemma-4-E2B 本地/离线版本的安全过滤机制过于激进，会拒绝提供急救、饮用水净化及应急设备维护等基础生存知识，这使其完全无法满足无网环境下的应急准备需求。