标签
用户寻求关于在他们的家庭实验室中在24x7 openclaw设置上持续运行本地AI模型的建议
一个744B参数的混合专家模型在25GB内存的笔记本电脑上启动，通过将专家权重存储在SSD上，每个词元仅加载活跃的约400亿参数，使得尽管模型庞大，仍能进行本地推理。
描述了一种工作流程，可以在一天之内使用25个手写示例、合成数据扩展、LoRA微调和量化以在CPU上推理，构建一个任务特定的本地模型。
发布了一个接口，用于管理两个在智能手机上本地运行的小模型（4B 和 1.7B）。4B 在高端手机上运行良好；1.7B 在推理时存在稳定性问题，正在通过深度微调进行改进，使用 130k 示例并从 32B 教师模型中进行蒸馏。
一位开发者制作了一个工具，将小型本地模型与大型编码模型串联，并在两者之间自动卸载显存以优化内存使用。
一个本地且私有的语言模型（Qwen 3 的 1.5B 和 4B 量化版本）可以在智能手机上离线运行，附带从 32B 模型蒸馏而来的微调与 LoRA。
一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。
Auroch 推出了 Seraph，一个自主推理核心，它通过识别能力差距并生成代码来弥补这些差距，从而实现自我改进，完全离线运行，无需人类提示。
对Qwopus3.6-35B-A3B-Coder-MTP模型用于本地编码代理的技术评估，比较其在实际执行方面的优势与Ornith的毒化抵抗力。
描述了一种'distill-on-idle'流水线，它使得一个4B参数的本地模型能够作为设备端记忆助手有效运行，展示了小型模型的实际应用。
Qwopus 3.6 27B-Coder-Compat 是新的GGUF版本，为各种测试框架带来了兼容性修复，减少了循环问题，提高了思考稳定性。它可以生成完整的HTML游戏，适合本地部署。
本文介绍了本地视觉语言模型基准测试的第二次更新，比较了23个模型在30张图像上的表现（使用修订设置），并为不同VRAM层级提供了性能建议。主要发现包括：推理模式会损害视觉性能，且MoE模型在感知任务上表现不如密集模型。
一位用户分享了从 Qwen 3.5 9B 切换到 Liquid AI 新推出的 LFM2.5-8B-A1B 模型的积极体验，称赞其在代理任务上的速度和可靠性，同时指出编码仍然是其弱项。该模型是一个 8B MoE 架构，具有 1.5B 活跃参数和 128K 上下文，针对设备和服务器端使用进行了优化。
提出DV-DPO方法，仅用约3美元的API调用和零人工标注，即可在领域特定任务上微调Qwen2.5-7B，通过对抗性交叉检验达到Claude Haiku综合性能的96%。
作者使用1990年代微软手册语料库，对本地大语言模型进行微调，以生成复古风格的文档，探索本地模型在技术写作中的定制化应用。
指导用户在MacBook 16GB上通过LM Studio和Codex运行Gemma 4 12B多模态本地模型，实现自由使用token。
作者在本地新机器上使用Qwen3.6-35B-A3B模型和oMLX工具进行日常任务，发现速度和效果远超预期，甚至在PA和Coding场景下优于远程LLM，体现了端侧AI能力的显著提升。
介绍了ScreenLeak基准，用于衡量计算机使用AI数据中的PII编辑，并提出了两个本地模型（用于文本的v45_phase3和用于图像的rfdetr_v8），在低延迟下实现了接近前沿的性能。