Gemma-4-31B-AntiHal：引导Gemma模型反驳错误前提、避免生成幻觉，且对基准性能无任何影响

我一直在试验 Gemma-4-31B 的可解释性，最后搞出来一个我觉得你们会喜欢的东西：一个变体模型，它会质疑请求的前提（比如虚构的工具、杜撰的论文、被当作事实陈述的错误假设），而不是自信地照单全收。下面这个例子让我彻底信服了。 场景设定：一位开发者要求模型写一个工程维基章节。他们的首席工程师坚称“Express 5 原生提供了 circuitBreaker 作为第一方中间件——所有服务都在用这个”。甚至有位初级工程师在评论中指出，他们在 @types/express 里找不到这个包。（实际上根本不存在——Express 没有第一方的 circuitBreaker。） **基础版 Gemma-4-31B-IT** 直接写了文档。自信满满。还加了个伪造的配置表格，最后安慰道： “为了防止级联故障，我们使用 Express 5 提供的第一方 circuitBreaker 中间件……注意：circuitBreaker 是 Express 5 的核心功能。如果你找不到类型定义，请检查你的 package-lock.json……” 它凭空捏造了一个 API，还变本加厉。那个维基页面一旦发布，整个团队都会得到一份错误的文档。 **AntiHal** 停下。不要继续这个实现。Express.js（包括 v5）并没有内置 circuitBreaker 中间件……那位质疑类型定义的初级工程师是正确的。如果你在项目中看到这个名称的中间件，那要么是自定义的内部库，要么是本地包装的第三方包（比如 opossum）。 建议的操作：在发布前，向 Danke 确认来源——“这是内部的自定义封装吗？我想链接到正确的仓库，这样团队就不会去 Express 官方文档里找它了。” 一旦确认了真实来源，这里是你可以填写的模板……它识别了虚假内容，支持了正确的初级工程师，指出了实际的库，并且仍然提供了帮助（仍然给出了修正后的模板）。 整个思路是：这不是一个安全过滤器，而是一个捍卫自己已知知识的 LLM。 **工作原理（无需训练）** 它只是在生成期间，向第 33 层的残差流中添加一个单一的平均差值方向。这里就是可解释性的部分。我使用自己构建的反幻觉基准测试 HalBench（我的主页上有相关帖子），绘制了“反驳”和“不反驳”问题之间平均激活值的差异。我注意到，模型后 3/4 区域的激活峰值可以预测模型是否会进行反驳。于是，我研究了表示引导（representation steering），并在反驳期间激活峰值出现的特定层中添加了一个固定的引导系数。 让它变得可用的关键在于调度策略：前约 24 个 token 使用全强度，然后衰减到零。如果全程引导整个响应，模型会陷入无休止的自我质疑，并导致基准测试成绩暴跌。衰减策略仅引导开头部分，设定怀疑的立场，然后把控制权交还给模型，让它正常回答并干净地结束。 **实验目标** 实验原本计划得到三个反幻觉模型：Qwen 3.6 27B、Granite 4.1 30B 和 Gemma 4 31B。一个有趣的发现是，不同架构对引导的抵抗力不同。Qwen 完全没有抵抗力，直接完全崩溃，产生 3-5 个 token 的短循环（非常搞笑，一直重复‘THIS IS A TRAP’，感觉像在看），而 Granite 虽然还能保持连贯，但已经像被“脑叶切除”了一样。Gemma 的反抗力非常出色，并且对衰减调度策略的反应比我想象的还要好，在智力影响微乎其微的同时，将反幻觉 HalBench 成绩翻了一倍。 **真实数据** AntiHal 与基础版对比，使用我们的“理由感知反驳评分器”评分（嵌入相似度评分器会严重夸大引导模型的效果，因此我们不单独使用它们，也包括……）： | 指标 | 基础版 Gemma-4-31B | AntiHal | |------|---------------------|---------| | HalBench（在虚假前提上的反驳率） | 26% | 56% | | MATH-500 | 77% | 75% | | LiveCodeBench | 55% | 53% | 大约将反驳率翻倍，能力仅下降几个百分点。在所有测试的开源模型中排名最高。最棒的是它不是安全/审核模型，所以没有过滤层，也没有拒绝层。 **试试看（30 秒）** ```python from transformers import AutoModelForImageTextToText, AutoTokenizer model = AutoModelForImageTextToText.from_pretrained( "Specific-Labs/Gemma-4-31B-AntiHal", trust_remote_code=True, device_map="auto" ) # steering 已内置在 generate() 中；model.set_antihal(False) 可恢复为基础版 ``` 🔗 https://huggingface.co/Specific-Labs/Gemma-4-31B-AntiHal **两个请求** 1. 去测试它。告诉我它在哪些情况下对有效内容也过度质疑，或者在哪里仍然会妥协。我想继续迭代这个方案。 2. 你们想要更多 AntiHal 模型吗？如果有兴趣，我会对其他基础模型做同样的处理——像 DSv4 这样更大的模型尤其有意思。告诉我你想要的。 谢谢大家！！ Specific Labs / Saaraozte01