校准用于智能体编码任务的2位GGUF量化（<10Gb）

TL;DR: 基于智能体编码日志校准的Qwopus3.6-27B-Coder小量化版本（<10 Gb），捆绑MTP后在SWE-rebench上实现>60%的通过率。 包含以下内容： 📦 3个经imatrix校准的量化版本：IQ2_XS (8.9 GiB)、IQ2_M (9.7 GiB)、Q2_K_S (9.96 GiB) ⚡ MTP草案头部保持Q8无损，主干降至2位 → 1.26倍解码加速（接受率79.9%，n-max=1） 🎯 基于真实的智能体编码日志（Claude Code、Qwen Code、opencode；以英语和Python为主）进行校准 🔬 混合重要性矩阵（激活值+权重能量），结合特殊token解析以保护工具调用通道 IQ2_M量化版本在nebius/SWE-rebench智能体编码基准测试中达到了63%的强劲通过率，与Q5_K_M量化版本相当，但体积只有后者的一半。同一量化级别的非校准版本相比，IQ2_M对循环的鲁棒性更强，但除非将重复惩罚设为>1，否则仍不如Q5_K_M鲁棒。 指标 | 指标 | FP16（参考） | Q2_K | IQ2_XS | IQ2_M | Q2_K_S | | --- | --- | --- | --- | --- | --- | | 文件 | n/a | Q2_K.gguf | IQ2_XS.gguf | IQ2_M.gguf | Q2_K_S.gguf | | 质量 | ❌ | ❌ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐ | | 技术 | 无 | 无 | imatrix | imatrix | imatrix | | 大小（GiB） | 50.90 | 10.40 | 8.89 | 9.74 | 9.96 | | BPW | 16.000 | 3.269 | 2.794 | 3.062 | 3.133 | | 困惑度（通用） | 6.4826 | 5.5835 | 9.8866 | 8.5961 | 8.0091 | | KLD中位数（通用） | 0.00000 | 0.1154 | 0.0950 | 0.0535 | 0.0566 | | top_p（通用） | 100.00% | 79.29% | 78.87% | 83.23% | 83.32% | 普通Q2_K的KLD得分比校准后的IQ2_M更差，尽管其体积更大——这说明校准至关重要。 SWE-rebench结果 每个量化版本的智能体编码能力通过nebius/SWE-rebench中的10个真实编码问题进行评估，使用指向本地llama-server的OpenAI Agents SDK。对于每个nebius/SWE-rebench问题，智能体获得问题描述和一个实时bash工具，该工具shell进入预检出失败提交的专用Docker容器。智能体通过读取文件、运行测试、编辑代码进行迭代，直到生成git diff或达到步骤限制。补丁随后通过在容器内实际运行仓库的FAIL_TO_PASS测试套件进行评分，因此通过/失败是真实执行结果，而非模糊匹配。我们尝试过使用mini SWE-Agent，但其问题解决能力不足，尽管补丁率相似。 | 指标 | Q2_K | IQ2_XS | IQ2_M | Q2_K_S | Q5_K_M | | --- | --- | --- | --- | --- | --- | | 文件 | Q2_K.gguf | IQ2_XS.gguf | IQ2_M.gguf | Q2_K_S.gguf | Q5_K_M.gguf | | 技术 | 无 | imatrix | imatrix | imatrix | 无 | | 大小（GiB） | 10.40 | 8.89 | 9.74 | 9.96 | 19.50 | | 重复次数 | 3 | 3 | 3 | 3 | 3 | | 问题数 | 10 | 10 | 10 | 10 | 10 | | 补丁率 | 88±12% | 70±10% | 100% | 93±6% | 100% | | 通过率 | 30±10% | 27±6% | 63±6% | 57±6% | 57±6% | | 最大回合数 | 27±15% | 57±25% | 13±15% | 10±17% | 0% | | 平均步骤数 | 58.5±7.6 | 73.1±15.1 | 51.6±8.3 | 46.7±8.1 | 38.6±1.3 | | 平均Token数 | 1,335K±253K | 1,779K±137K | 784K±260K | 922K±195K | 588K±57K | | 工具错误率 | 14.6±6.4% | 9.5±3.6% | 12.6±1.8% | 8.9±1.5% | 12.1±0.2% | | 平均耗时 | 415±98s | 558±182s | 381±66s | 425±259s | 307±34s | 采样参数：temperature=0.25, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0, max_tokens=32768, ctx=131072, thinking=true, mtp=true, mtp_draft_n_max=2。 在4060Ti（16Gb）上测试。 定义： - 补丁：智能体为多少个问题生成了补丁（即使问题未解决）？ - 已解决：多少个问题的补丁通过了所有FAIL_TO_PASS测试？ - 最大回合数：多少个问题达到100步上限而未解决？ - 平均步骤数：平均智能体步骤数（shell进入Docker、读取文件、编辑代码均计为步骤） - 平均Token数：整个智能体回合中生成的平均Token数 - 工具错误率：智能体产生无法执行的无效shell命令的频率（语法错误、文件路径错误等） - 平均耗时：每个回合的平均挂钟时间（达到步骤限制的回合上限为2小时） 总体而言，IQ2_M量化版本在此智能体编码基准测试中获得63%的通过率，对于2位模型而言令人印象深刻。所有量化版本的补丁率都很高，表明即使是较弱的版本也能生成看似合理的补丁，但较低的通过率和较高的最大回合数表明许多补丁并未真正解决问题。IQ2_M量化版本的表现与Q5_K_M相当，尽管步骤数和Token数多出约20%，但这些额外步骤和迭代似乎是有效的，帮助它自我纠正并解决更多问题，而不仅仅是循环。当量化版本的平均Token数较高且最大回合数也较高时，通常表明智能体陷入了循环。值得注意的是，Q5_K_M在解决这些问题时从未达到最大回合数（100）。我们建议对这些量化版本使用大于1的重复惩罚，以帮助跳出循环。 考虑到采样带来的变化，我们对每个量化版本运行几次重复实验，并报告这些运行的平均值±标准差。 快速开始： ollama run hf.co/pearsonkyle/Qwopus3.6-27B-Coder-2bit-MTP-GGUF:IQ2_M 对于使用MTP推测解码的GPU： llama-server --model Qwopus3.6-27B-Coder-IQ2_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 1 \ --flash-attn on --n-gpu-layers 999 注意事项： - 低于3.2-bpw的量化版本——在VRAM受限时表现出色，但并非Q4+量化版本的替代品（当可用时） - 校准以英语和Python为主；其他语言和非编码工作负载的保真度预计会较低 📎 HF仓库 · Quant-Tuner · 日志挖掘器 · 智能体源代码 · 校准数据