Gemma-4-31B-Humanlike-Chat：基于官方 Gemma 4 31B，2.0 版带来更自然的人类语气

之前发布的 Qwen3.8-27B-Humanlike-Chat 2.0，是一个聊天像真人、也能干活的微调模型，其 GGUF 仓库从 v1 到 2.0 的下载量现已达到 13.6 万。谢谢大家。2.0 帖子中最热门的评论之一是：“我很好奇，用你的方法训练 Gemma 4 31B 会怎么样。”所以，它来了：Gemma-4-31B-Humanlike-Chat。在 Google 官方 Gemma 4 31B 的基础上，赋予它 2.0 的说话风格。它能做什么 无需提示，就能像真人一样聊天。简短的小写文字。针对你说的话作出回应。给一个盲评裁判看一段真实聊天，以及两条可能的下一条消息，让它选出哪条来自真人。在 26% 的情境中，裁判把这个模型的回复当成了真人回复。Google Gemma 4 31B 在我的测试中：0%。会提问，不瞎猜。让它预订某样东西，但不给细节。它会询问细节，而不是凭空编造。When2Call（正确地调用、询问或拒绝）：66。Google 原版为 46。没有合适的工具时，不会调用工具。BFCL 无关性测试得分 90。Google 为 81。选择合适的工具和参数：BFCL 简单测试得分 96。与 Google 原版拥有相同的知识水平。MMLU-Pro 为 82.5。与 Google 原版相同。以官方 Gemma 为基础。基于 google/gemma-4-31B-it 训练。Apache-2.0 许可证。未进行拒绝机制消融，我觉得 Gemma-4-31B 不需要。思考功能正常。简短思考，然后以同样的风格回复。角色扮演和实际任务。给它一张角色卡，它就会成为这个角色。让它写一封正式邮件、列出编号步骤，或编写代码。它都能给你。然后继续像平时一样聊天。我是怎么训练的 分两步。配方与 2.0 相同。在 1 张 H200 上完成。SFT，13,740 条数据。2.0 在其训练聊天中的回复。Google 原版在指令和代码任务上的回答。盲测并排对比中人类偏好的选择。我的修正。在策略蒸馏，12 步。模型先生成自己的回复。教师模型为每个词元评分。两个教师。SFT 模型加上像真人一样聊天的隐藏指令：负责聊天、角色扮演。Google 原版基础模型：负责指令、工具、代码。学生模型看不到隐藏指令。因此，它无需提示就能这样聊天。每一步都包含一些自我对话。与模拟朋友进行长时间聊天。这修正了它在长对话接近结尾时逐渐退化为单词式回复的习惯（SFT 后，长对话后期的回复有 28% 只有 1 或 2 个词；蒸馏后降至 12%）。与 Google 原版（gemma-4-31B-it，即我用于训练的起点模型）的分数对比 相同提示，同一轮运行，贪心解码，关闭思考 基准测试 Google Gemma 4 31B Humanlike When2Call（正确地调用、询问或拒绝）46 66 BFCL 无关性测试（没有合适的工具时不调用工具）81 90 BFCL 简单测试（正确的工具、正确的参数）95 96 MMLU-Pro（知识）82.5 82.5（相同）图片中有包含全部十项基准测试的图表。与 2.0 的分数对比 相同的评测输入。关闭思考。基准测试 Qwen 2.0 Gemma Humanlike LiveCodeBench（代码）51 66 IFEval（指令遵循）83.4 90.0 When2Call 58 66 BFCL 无关性测试 78 90 IFBench（更难的指令遵循）43.7 45.7 它聊天像真人吗？使用与上次相同的基准测试。从我的聊天中选取 150 个时刻（未用于训练）。每个模型生成下一条消息。裁判会看到真实消息和模型生成的消息。没有标签。哪一条来自真人？模型 裁判认为它是真人的比例 Gemma 4 31B（Google，我用于训练的起点模型）0% Gemma-4-31B-Humanlike-Chat 26% Google Gemma 一次也没能骗过裁判。链接 Hugging Face：GGUF（IQ4_XS、Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16）：https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GGUF 适用于 vLLM 和 SGLang 的 Safetensors：BF16 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat，FP8 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-FP8，GPTQ-Int4 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GPTQ-Int4。支持工具调用的 vLLM 命令在模型卡中。浏览器在线体验：https://huggingface.co/spaces/LessThanThreeAI/Humanlike-Chat 感谢大家提出想要 Gemma 版本，也感谢大家对 2.0 的反馈。试试看，希望你们喜欢！