标签
yeasah 制作的新版 Qwen3.8-27B EXL3 量化模型在同类竞品中实现了最低的 KLD（0.0002），同时模型权重仅需占用 18.8 GiB 显存，表现优于 Unsloth 和 turboderp 的量化版本。
Mica v0.5 4B 的演示：这是一个小型本地模型，可将 Minecraft 中的自然语言请求分解为一系列概率性多项选择决策，使机器人能够从赤手空拳开始，完成收集猪排和合成下界合金锭等复杂的多目标任务。
一个用户开玩笑说，自己同时跑两个 Strata 引擎，每秒 70 个 token，每天消耗 1200 万 token，感觉就像个"土皇帝"。他将自己与 Poteto 作对比——Poteto 曾是 Cursor 员工，现已跳槽到 xAI，据报道 Poteto 每分钟消耗 3400 万 token，每月向 Cursor 和 GrokBot 提交 2500 个 PR。
一位用户展示了一台定制 AI 工作站，配备 8 块 Radeon R9700 GPU、一颗 Threadripper 9955WX 处理器和双海韵电源。该工作站从 4 块 GPU 升级至 8 块，以便在本地运行更大的模型。
Liquid AI 发布 LFM3-1.7B 的 GGUF 版本，支持在 CPU/GPU 上本地推理，兼容 llama.cpp、Ollama、LM Studio 等工具，并提供经过量化感知蒸馏（QAD）的 Q4_0 检查点，以恢复量化损失的精度。
作者分享如何用一台12年前的办公PC运行本地脚本（IMAP邮件轮询、Tesseract OCR、Piper TTS），把Telegram机器人例行任务从昂贵的LLM API调用转为零token的本地处理，显著降低成本。
HuggingFace Bio 发布 Carbon-X，这是一个拥有 140 亿参数的 DNA 与自然语言联合模型，在五项 DNA 基准测试中超越所有开源模型，并达到 GPT-6.1 Sol 的水平，而成本仅为其约千分之一，同时提供 GGUF 版本，支持通过 llama.cpp 在本地运行。
OrcaRouter 发布了 DeepSeek-V4.1-Flash-1017 的 abliterated（移除拒绝）GGUF 版本，可在单机 236GB 内存上通过 llama.cpp 本地运行这个 763B MoE 模型，其中 197B 参数的 Engram n-gram 记忆表按需从 SSD 流式读取。
Recursive 发布了 Flint，这是一款可在笔记本上运行的免费 400 亿参数混合专家（MoE）编程模型。该公司声称该模型主要由其自动化 AI 研究系统 Eureka Machine 构建。Flint 以同规模而言实现了较高的 token 吞吐量和出色的 SWE-Bench Verified 成绩，目前已以 Apache 2.0 许可证在 Hugging Face 上开源。
llama.cpp 的 PR #29887 新增了一个利用访问局部性的 LRU MoE 专家缓存，将 Qwen3.8-Flash-Next（94GB）在 RTX 5090 上的运行速度提升至 67.8 token/秒（原来的 2.2 倍），几天后，SGLang 也合并了类似的“分页专家”功能。
Recursive 发布了 Flint，一款拥有 400 亿总参数、仅激活 25 亿参数的混合专家（MoE）本地智能体编码模型，在 SWE-Bench Pro v2、Terminal-Bench 2.1 等基准测试中领先于其他总参数低于 500 亿的 MoE 模型，并借助自主研发的 Eureka Machine 自动化研发系统，在四个月内完成构建。
qev-0.8b 是一个 0.8B 参数的本地决策模型，只需一次前向传播即可对任意输入输出经过校准的概率。在 Benchmark Heaven 上以 77.1% 的成绩在 27 个同规模模型中排名第一，p50 延迟仅 3.5 毫秒，在笔记本上运行仅占用 1.3 GB 内存。提供 CUDA、MLX 和 GGUF 三种格式，并能泛化到训练中从未见过的游戏（俄罗斯方块、吃豆人、2048、打砖块、打地鼠）。
Continuity Research 发布 Tess-4.5-27B，一个基于 Qwen3.8-27B 微调的 27B 开源权重模型，主打本地单卡运行的工程与智能体能力，BenchLocal 成绩与基座持平但推理 token 少 25%，并附带多 token 预测草稿头以提升本地推理速度。
一位用户分享了自己在本地使用快速的 DiffusionGemma 模型进行图像分析和离线图像生成提示词的经验，并询问社区中是否还有其他场景能发挥其速度优势。
TensorSharp 是一款开源本地推理引擎，新增了 Video Studio 功能，支持本地视频生成（LTX 2.5 Distilled、MiniMax-H3、Wan 2.1/2.2），提供可编辑时间线、多轨编辑以及可选的本地 LLM 助手，可在配备 48GB 内存的 M5 Pro MacBook Pro 上完全离线运行。
作者在冷门知识（Anno 1602 游戏规则，不允许联网搜索）上对 Nemotron 3.5 Super VL 进行基准测试，发现其准确度远超 GPT-OSS、Qwen、DeepSeek 和 Gemma 模型，是一个值得保留的优秀本地模型。
一周内四个大型开放权重模型接连发布：Meta 的 Muse Spark Open、NVIDIA 的 Nemotron 3.5 Bolt、Reflection 的 Beam 以及 DeepSeek 的 V4.1 Flash，作者对比了它们在 24GB 显存门槛下的可运行性、许可证差异与硬件成本。
nazeshinjite 发布了 DeepSeek V4.1 Flash 1017 的 3.91bpw GGUF 量化版本，面向 antirez 的 DwarfStar (ds4) 推理引擎，采用 SSD 流式加载，可在 128GB Mac 上以最高 20tps 解码。
一位社区成员报告称，在编写俄罗斯方块游戏的任务中，Qwen 3.8 Flash Next（在 4 张 RTX 3090 上运行 UD-Q4_K_XL 量化版）的表现不如 Qwen 3.8 27B Q8。尽管生成速度更快，它仍产生了多处 bug，且未能在 Strata 中交付可玩的 .exe 文件，这让围绕这款较小模型的热捧受到质疑。