标签
一个能在5美元芯片上运行的语言模型,配备12个AI应用,完全离线且开源,可在GitHub和Hugging Face获取。
文章质疑了许多 Web 应用中对 Service Worker 的必要性,认为简单的 HTTP 缓存通常就足够了,而 Service Worker 会带来复杂性和缓存过期的风险。
Wayfinder Router 是一个开源的 Python 工具,它根据结构复杂性在本地或托管 LLM 之间确定性路由提示,无需调用任何模型,从而实现离线成本节省。
一位开发者创建了一个离线、单文件的GPU构建选择器,用于估算系统能运行哪些本地AI模型以及其token生成速度。
现在可以使用 Google Gemma 开放模型直接在笔记本电脑上部署本地编码代理,实现离线执行和更快的开发工作流程。
一位用户演示了为本地LLM智能体添加MCP工具用于本地图像和视频生成,实现了按需全离线免费的生成。
文章介绍了Xenova开源了27个自定义WebGPU内核,使得Gemma 4模型可以在浏览器中完全离线、本地运行,性能达到255 tok/s,并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。
一位用户在自己的笔记本电脑上搭建了一个完全离线、完全开源的RAG系统,强调不会向OpenAI发送任何数据。他们提供了一个6步指南。
OpenAI Codex现已免费,但更令人惊讶的是本地开源模型也能达到接近云端的AI Agent体验,演示了修复游戏、开发网页游戏等场景,无需API Key和网络。
一位开发者打造了一个口袋版查尔斯·司布真AI助手,完全离线运行在微调后的Gemma模型上。它可以用司布真的口吻回答神学问题、准备讲章,并对讲章草稿进行评分。
Trace是一款Mac应用,能在本地转录会议内容,无需上传音频,用户可在通话中标记重要时刻,并获取清晰的Markdown转录稿。
Webxdc 是一种安全、点对点的聊天迷你应用格式,可离线运行,零追踪,支持私有游戏和协作,无需服务器或应用商店。
Atomic-Chat 是一款开源桌面和移动应用,用于在本地完全离线运行 LLM,提供 ChatGPT 的私有替代方案。
一个完全离线、仅使用CPU的语音循环,用于本地大模型,采用Silero VAD、Parakeet STT和Supertonic TTS,通过一条命令整合安装。兼容Ollama、LM Studio以及多种代理框架。