标签
Manning Books 正在免费提供电子书《Local AI and Small Language Models》，内容涵盖小型语言模型、使用 GGUF 和 llama.cpp 进行 CPU 推理、量化技术、LoRA/DoRA 特化微调，以及利用 Ollama 的 Python 库构建私有本地 AI 应用等章节。
Nexus-CLI 是一个纯 Go 编写的命令行工具与本地 API 代理服务器，可通过免费的 DeepSeek 网页账号桥接 DeepSeek R1/V3 模型，支持 Claude Code、Ollama、OpenAI 及 Anthropic 兼容接口。
一个小型开放模型 `qwen3-4b-deslop`，是基于 `Qwen3-4B-Instruct` 微调而来的模型，在一台 MacBook Air 上训练完成，用于消除常见的 AI 写作惯用手法（如破折号、"不是 X，而是 Y"句式、三项并列列表等）。它将每千字的 AI 味评分从 121 降至 12.5，同时保持事实准确性，并可通过 Ollama 在本地运行。
EpochGo 是一个开源的、本地优先的多智能体 AutoML 引擎，它使用离线的 Ollama LLM（qwen2.5-coder:7b）作为编排器，驱动确定性的 Scikit-Learn 管道，具备基于 AST 的验证和自动生成的 FastAPI 服务端点，可在消费级硬件上 100% 离线运行。
Dodaios 的维护者展示了一款 Apache 2.0 开源桌面 AI 代理应用，可在本地 Ollama 模型（Qwen3.5:9b 和 Qwen3.8-16gb）上运行多代理任务，并坦诚说明了本地模型在工具调用上的局限。
Pluto 是一款面向 Apple Silicon Mac 的本地优先、开源会议助手，无需机器人即可录音，本地转写并把对话整理为可检索的工作记忆，支持 Ollama 本地模型和可选云端 AI。
用户惊叹于在 M3 Max 64GB Mac 上通过 oMLX 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp 这个约 100GB 的模型，58GB 分配给 GPU，并支持最高 130k 上下文窗口，展示了本地大模型推理性能的显著提升。
HIVE（Hive Inspired Virtual Entity，受蜂巢启发的虚拟实体）是一个开源研究系统，通过九个从不同角度分析问题的 forager agent、一个 queen verdict（蜂后裁决）以及共享记忆（comb），并利用 Unpaywall 与 DOI 检索的已验证白皮书，为 LLM 输出提供可信度置信值，减少幻觉。系统可在本地运行（Ollama + Qwen3.6 35B），在 M1 Max 64GB 上完成设计与测试。
Row-Bot 5.0 演示：在单张 GPU 上通过 Ollama 本地运行 qwen3.8:27b，分析账单、租约和保险保单，找出水费账单中的漏水痕迹和一次违规涨租，全程离线，完全不依赖云端 API。
Neco 是一个基于 Ollama 和 Open WebUI 构建的本地 AI 项目。它将大语言模型视为主机上持续存在的实体，具备只读的系统感知能力、一个在闲置时生成随想的后台守护进程，并对情景记忆与演进状态进行了实验探索。
一位用户在双 RTX 5070 Ti 上对本地 agent 模型进行了基准测试，发现 Ornith 1.5 35B-A3B（约 3B 激活参数的 MoE 模型）在他的测试中与 Qwen3.8 27B 得分相同，但速度快约 3 倍（约 180 tok/s），并且可通过 YaRN 扩展到 512K/1M 上下文。
本文提出 CourseChat，这是一个面向本科商科教育、本地部署的多课程 RAG 辅导系统，通过两台边缘 AI 主机上的 Ollama 本地大模型（LLM）服务，共享六门相互隔离的课程。模型对比测试表明，8B/12B/7B 规模的模型能够满足课堂速度要求，而更大规模的模型则无法达标，这支持了软硬件协同设计的方法，而非默认假设更大规模的模型就是最优选择。
UNIXAI 3.6 版是一个极简的单脚本 bash 工具，可将任何本地 Ollama 模型转变为自主对话式代理，具备无限反思循环、消息队列裁剪以及内置的 shell 工具调用功能。
这篇文章将一种零 GPU、纯 CPU 的字符串归一化熵指标（Spanda）与语义熵进行了对比基准测试，覆盖了从 1.5B 到 120B 的本地模型与前沿模型。结果发现，7B 到 27B 的模型使用廉价的精确匹配熵即可获得良好效果，而 120B 的模型则会塌缩为完全相同的自信幻觉——这类幻觉连 NLI（自然语言推理）模型也无法识别。
Ollama 新增了对 Jev 风格决策模型（如 Nimble）的支持，全部在本地运行，可用于工单分派、模型路由和内容审核等任务，通过全新的本地 /v1/systemone API 实现。
运行一个由OpenClaw和GLM 5.3 Flash驱动的Discord代理23小时，导致在1M上下文窗口约65%处出现故障，暴露了重负载下的缓存和模型性能问题。
用户分享了在有限硬件配置下，运行不同GPU功率限制的本地AI模型的详细基准测试数据和个人见解，评估了如gemma4和qwen3.5等模型。
用户已在异构 GPU 环境中为 Qwen3.8 模型实现了 nvfp4 KV 缓存支持，使用自定义 CUDA 内核和量化来优化性能。
Otis 是一个开源 AI 智能体，为您提供简约、注重隐私的体验，用于运行本地和托管的开放权重模型，根据硬件自动推荐和下载模型。
这篇文章介绍了一本完整的书籍，内容涵盖如何使用LangGraph、MCP、A2A和Ollama构建生产就绪的多智能体AI系统，并提供可运行的代码和实际应用案例。