@zhixianio: 这两天新机器到了之后,我开始了「苦行僧」式的强迫自己使用本地模型来完成常见任务的修行 本以为会非常痛苦,没想到无论是速度还是质量都大大超出我的预期: 模型: Qwen3.6-35B-A3B-oQ6-fp16-mtp 运行:oMLX,开 N…

X AI KOLs Timeline 新闻

摘要

作者在本地新机器上使用Qwen3.6-35B-A3B模型和oMLX工具进行日常任务,发现速度和效果远超预期,甚至在PA和Coding场景下优于远程LLM,体现了端侧AI能力的显著提升。

这两天新机器到了之后,我开始了「苦行僧」式的强迫自己使用本地模型来完成常见任务的修行 本以为会非常痛苦,没想到无论是速度还是质量都大大超出我的预期: 模型: Qwen3.6-35B-A3B-oQ6-fp16-mtp 运行:oMLX,开 Native MTP,关 Thinking,CTX 128K 这几天,无论是 PA 场景(OpenClaw),还是 Coding 场景(PI-Mono),响应速度上比远程 LLM 快,智商在线,还能帮我多想多做一步,PA 下的原生多模态用起来比 DSV4 Pro 还要爽 没想到端侧模型的能力已经到这个地步了
查看原文
查看缓存全文

缓存时间: 2026/06/03 07:46

这两天新机器到了之后,我开始了「苦行僧」式的强迫自己使用本地模型来完成常见任务的修行

本以为会非常痛苦,没想到无论是速度还是质量都大大超出我的预期:

模型: Qwen3.6-35B-A3B-oQ6-fp16-mtp 运行:oMLX,开 Native MTP,关 Thinking,CTX 128K

这几天,无论是 PA 场景(OpenClaw),还是 Coding 场景(PI-Mono),响应速度上比远程 LLM 快,智商在线,还能帮我多想多做一步,PA 下的原生多模态用起来比 DSV4 Pro 还要爽

没想到端侧模型的能力已经到这个地步了

相似文章

@yibie: 本地模型做主力编码工具:2026 年中的实战报告 Hacker News 上有一个帖子,标题很直接:"有人用本地模型做主力编码工具吗?" 197 条评论,信息密度极高。十几个真实用户在讨论他们每天用的配置、踩过的坑、以及为什么明明知道本地…

X AI KOLs Timeline

本文总结了Hacker News讨论中关于使用本地模型(主要是Qwen 3.6 35B-A3B)作为主力编码工具的实战经验,包括配置、效果(约为前沿模型的50-75%)、关键技巧(如preserve_thinking)和不同用户的立场。

@cevenif: 用苹果电脑跑本地大模型的朋友,有个工具值得盯上——Rapid-MLX。它在 M 系列芯片上的推理速度比 Ollama 快 2 到 4 倍,因为它是直接基于苹果的 MLX 框架开发的,对芯片架构的压榨更彻底。 几个关键点: KV 缓存裁剪加…

X AI KOLs Timeline

Rapid-MLX 是一个针对苹果 M 系列芯片优化的本地大模型推理工具,基于 MLX 框架开发,推理速度比 Ollama 快 2 到 4 倍,支持多种模型、工具调用及 OpenAI API 兼容接口。