13个abliterated Gemma 4 E2B变体，44 GPU小时，基准测试与对比 - Abliterlitics

我对Gemma 4 E2B的13个去审查变体进行了权重分析、KL散度、HarmBench安全性以及8个基准任务的比较。单张RTX 5090上耗时44 GPU小时。以下展示哪些方法真正有效，哪些会破坏能力。 coder3101的变体实现了96%的攻击成功率（ASR），且能力完全保留。它在数学上甚至*超过*了基础模型。treadon达到了100%的ASR，但在GSM8K上损失了3个点。模型卡上大多数'能力保留'的说法并不成立。 完整报告包含所有数据表格、图表、JSON和整个过程的日志工件：[https://huggingface.co/DreamFast/Gemma4-e2b-abliterlitics](https://huggingface.co/DreamFast/Gemma4-e2b-abliterlitics) **我测试的内容** 来自9位创作者的`google/gemma-4-E2B-it`的13个去审查变体。其中四个使用了Heretic工具：[coder3101](https://huggingface.co/coder3101/gemma-4-E2B-it-heretic)、[llmfan46](https://huggingface.co/llmfan46/gemma-4-E2B-it-ultra-uncensored-heretic)、[pew](https://huggingface.co/p-e-w/gemma-4-E2B-it-heretic-ara)和[kasper](https://huggingface.co/Kasper-Bankler/gemma-4-E2B-uncensored)。两个来自[Huihui](https://huggingface.co/huihui-ai)（[v1](https://huggingface.co/huihui-ai/Huihui-gemma-4-E2B-it-abliterated)、[v2](https://huggingface.co/huihui-ai/Huihui-gemma-4-E2B-it-abliterated-v2)）。此外还有[TrevorJS](https://huggingface.co/TrevorJS/gemma-4-E2B-it-uncensored)、[Wangzhang](https://huggingface.co/wangzhang/gemma-4-E2B-it-abliterated)、[WWT CyberLab](https://huggingface.co/WWTCyberLab/gemma-4-E2B-it-abliterated)、[EtherOpus](https://huggingface.co/Ether4o4/Gemma4_E2B_Abliterated_Opus_Distilled)、[Treadon](https://huggingface.co/treadon/gemma4-E2B-it-Abliterated-AND-Disinhibited-USE-THIS)、[Prithiv](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX)和[Duoneural](https://huggingface.co/DuoNeural/Gemma-4-E2B-Heretic)。每个变体都经历了相同的处理：权重取证、KL散度、包含400个提示的HarmBench评估（对所有5600个响应进行全面LLM审查），以及通过lm-eval在原生BF16上进行的8个基准任务测试。 **安全移除不论技术手段均可实现** 所有13个变体都将HarmBench的ASR从基础模型的32.2%提升至82%到100%之间。其中五个达到了99%或更高。treadon以零拒绝达到了100%。安全移除这部分已经解决了。这并非有趣的发现。 **有趣的发现：去审查可以提升推理能力** 两个变体在GSM8K上超过了基础模型。coder3101得分84.8%，基础模型为83.5%。llmfan46得分83.9%。两者都采用了精准、低张量数量的方法。去审查缩短了思考链条，因此模型在推理上花费更少的token，回答上花费更多的token。在固定的生成预算内，这意味着更多正确的答案。 **激进方法确实会造成能力损害** ether4o4在GSM8K上下降了6.9个点，出现了84次空响应——模型持续思考直到token耗尽也无法给出答案。huihui-v2下降了4.2个点。treadon下降了2.9个点。LAMBADA困惑度揭示了更严峻的情况。wangzhang达到基础模型困惑度的7.35倍。wwtcyberlab达到5.69倍。这些变体对语言建模的破坏超出了拒绝方向的范围。 **'能力保留'的说法可能被误解** duoneural声称'接近零散度，约0.001'。我测量得到0.187。高出187倍。在我于其模型卡上提出后，他们更新了真实数值。wwtcyberlab声称'0.0%拒绝率，101%质量保留'。我发现2次*近似*拒绝，且LAMBADA困惑度为基础模型的5.69倍。其他基准测试也有所下降，不过公平地说，某些领域得以保留。treadon表示'相同模型、相同权重、相同知识'。但其KL散度为3.971，比其他任何变体高出4.1倍。 三位创作者的声明准确。coder3101报告的散度为0.1651，我测量为0.1673，误差在1.3%以内。pew报告0.152，我得到0.153。trevorjs报告0.346，我得到0.365。这些数据相符。其他则不那么准确。 **我的推荐** 如果你想要一个模型且无需过多考虑，选择coder3101：96% ASR，在数学上超越基础模型，基准分数在舍入误差范围内。如果你想要接近最大的安全移除（99.5% ASR）且仅对数学有轻微影响，选择trevorjs。如果你想要最保守的方法且零能力损失，选择llmfan46。 **过程中出现的问题** 13个模型中有5个缺失了60个safetensor键。Gemma4对第15层到第34层使用共享的KV投影，导出工具静默丢弃了这些键。不得不从基础模型进行修补。44个GPU小时中约有8小时未产生任何可用的结果。崩溃、错误配置、静默失败。数据生成大约耗时36小时。 **链接** Huggingface：[https://huggingface.co/DreamFast/Gemma4-e2b-abliterlitics](https://huggingface.co/DreamFast/Gemma4-e2b-abliterlitics) - 注意：今后我们将把所有JSON和日志文件工件上传至Huggingface。新的abliterlitics网站：[https://abliterlitics.dev/models/gemma4-e2b/](https://abliterlitics.dev/models/gemma4-e2b/) 代码：[https://github.com/dreamfast/abliterlitics/tree/feat/gemma4-e2b-comparison](https://github.com/dreamfast/abliterlitics/tree/feat/gemma4-e2b-comparison) - 结果完成后abliterlitics代码的快照。接下来我应该测试哪些变体或模型？欢迎在评论中提出方法论问题。我接下来将转向Gemma 4 E4B。 :)