CyberTiel 35B-A3B 的无审查4位量化版本在真实代码库问题上轻松超越 Opus 4.6 medium,耗时仅为 Qwen3.8-27b medium 的27%。

Reddit r/LocalLLaMA 模型

摘要

CyberTiel 35B-A3B 是一款无审查的4位量化AI模型,专为编码任务优化,在真实代码库问题上表现优于 Opus 4.6 medium,并且速度远快于 Qwen3.8-27b medium。

无审查模型的缺点是已知可能会损害模型,但 CyberTiel 比其受审查的 TielCoder 基础更是一位能干的软件工程师,同时允许进攻性安全研究。这是通过使用改进的 imatrix 进行量化实现的,imatrix 是从精选的网络安全和代理软件工程工作语料库中烘焙而来。简而言之,对全精度模型的消融在Q4量化下损害可以忽略不计,模型执行相关工作所需的权重以更高精度保留,同时改进的聊天模板使其思考和表达更佳、更快。我相信这是解决真实代码库中实际问题而不破坏任何东西的最佳35B-A3B编码器,这正是 SWE-bench-Live 所测试的。但它仍然是一个35B-A3B,牺牲了世界知识以换取编码能力。也就是说,我日常编码工作中使用它而不是 Qwen3.8-27b:由于其原始速度,在27b medium解决一个问题的时间内,它能修复3个问题,而 Opus4.6 medium 和 Qwen3.8-27b medium 之间的中间地带对大多数工作来说已经足够好了。审查会妨碍与用户一致的合法有效工作,并质疑用户对模型行为的责任和所有权,同时限制合法用途。当模型被审查时,其他人为你决定了模型能做什么和将做什么,这与本地模型赋予用户更多控制和一致性的论点相悖,并引发“与谁一致?”的问题。CyberTiel 的要点是在推动35B-A3B编码器前沿的同时解决这个问题。GGUFs 和 MLX 版本,无论是否带 MTP,都已在 HF 上发布。期待社区的反馈!附注:我不是研究机构或企业,也没有与此项目相关的收入来源。我是一名有空闲时间的匿名研究人员。欢迎建设性反馈!:)
查看原文

相似文章

对比 Qwen3.8-27B 微调模型并与前沿模型进行基准测试

Reddit r/LocalLLaMA

一篇基准测试文章,将多个 Qwen3.8-27B 微调模型与 Opus 5.5 和 Astra 等前沿模型在一个包含 469 道题的领域特定评测上进行对比,发现一种 Q4_K_M 量化模型(Signal-3.8-27B-Terse-Coder)在本地运行时表现优于更大的微调模型,但速度仍比前沿模型慢约 28 倍。作者还在 GitHub 上开源了名为 'tuieval' 的解耦评测工具,以支持可复现、基于硬件实际情况的对比。

Qwen 3.8 27b 即使在 Q3_xxs 下也很强大

Reddit r/LocalLLaMA

用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。