# 2个月（梗图）研究：人们能察觉 AI 模型之间的区别吗？

# 前言与声明 样本量：8。不管篇幅多大，这项研究本质上就是随便玩玩然后顺手记录下来。这只是我出于好奇心想做的一个小（呃……其实挺大）测试，想看看普通大众是否真的能分辨出高端 AI 模型之间的差异。在我所在的国家，人们对 AI 的整体态度比较中立——既不强烈反对，也不盲目追捧，唯独对商品 listing 中偷懒滥用、过度烧图的 GPT AI 生成图片颇有微词（合理）。实验结束后，我征求了所有参与者的同意才发布这些结果。 --- 总之—— 实验初期，我同时使用了本地模型和 OpenRouter。但前两周后我就弃用了 OpenRouter，因为令人意外的是，我的 RTX 3090 几乎没什么负载。使用量主要集中在每小时 5-6 个请求的短时爆发。虽然我把 96G 内存用于热 KV 缓存，其余冷 KV 放在 SSD 上，但我告诉 13 位参与者（大致翻译如下）： > "我免费拿到了最新版 ChatGPT 模型的使用权，但只能用有限的一段时间。你们再也不用面对'内存不足'这类问题了，但必须用我的网站，因为我得把它接到 OpenAI 上。另外，别问什么奇怪的东西。我不想看，但从技术上说我确实能在数据库里看到你们的活动记录。" 从 IP 流量模式来看，我觉得他们（8个人）大概是信了。Web UI 基本上就是一个灰色主题的 OpenWebUI 实例，由 Qwen 3.6 27B 修改而来，管理面板全部隐藏。 实验本身很简单。我在以下模型之间轮换：**Qwen 3.6 27B**、**Qwen 3.6 35B-A3B**、**Gemma 26B-A4B**、**Qwen 3.5 9B**、**Gemma 12B**、**Gemma E4B**、**Gemma E2B**。推理力度（reasoning effort）参数化为四个等级：instant、low、medium、high。除 35B 外，所有模型都在 VLLM 上运行。目标是搞清楚人们是否会在不知情的情况下察觉到模型之间的显著差异、抱怨质量、或者形成偏好。 --- 投诉从 9B 及以下级别开始出现。最常见的抱怨就是模型"理解不了"。毫不意外，所有人都更偏好 Gemma 模型的回复。而对于其他模型，有 3 位参与者甚至说有时候模型"想太多"，结果听起来像个困惑的机器人。我们大概都知道他们说的是哪个模型了。 最后一张图来自 Qwen 3.6 27B 的 OpenWebUI 换肤版本。 --- 在 7,912 个请求中，只有 51 个使用了 high 推理。约 4,588 个使用 instant，2,263 个使用 medium，其余使用 low。所以是的，绝大多数使用完全没碰 high 推理——我已经跟他们说过有个开关可以设置最高思考模式了。 有趣的是，一些参与者仍然认为这些模型是顶级水平，因为他们能看到推理过程。有一条评论大致是： > "哇，这个模型对自身行为的观察真敏锐，因为它思考得非常仔细。" --- 实验结束时，我用 **Qwen 3.8 27B** 作为 LLM 裁判对请求进行了分类。大约一半与文档写作相关，包括起草文件和生成 Excel 风格的表格等。其次是语法相关请求。这个类别与文档写作有一定重叠，LLM 裁判在分类时表现出相当高的不确定性。大约三分之一的语法检查请求也可以合理地归入文档写作类别。其余大多数请求基本上是"Google 搜索"式的问题……嗯，我为那个最杀鸡用牛刀的菜谱问题付了 Sonar 积分…… 几乎没有人用它来写代码。只有一条比较突出的编码相关请求——一位朋友想用纯 HTML 的着陆页 hero 区块来展示他们的一个项目。 关于上下文长度，虽然我装了钩子来自动裁剪+总结旧消息，但基本上没被用到过。大多数请求都在 64K 左右。 --- # 使用的模型 - **Q 3.6 27B INT4** https://huggingface.co/Lorbus/Qwen3.6-27B-int4-AutoRound - **Q 3.6 35B Unsloth UD Q4** https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/blob/main/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf - **Gemma 26B A4B** https://huggingface.co/cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit - **Gemma 12B QAT** https://huggingface.co/google/gemma-4-12B-it-qat-w4a16-ct - **Ornith Q 3.5 9B** https://huggingface.co/ornith-ai/Ornith-1.0-9B - **Gemma E4B** https://huggingface.co/google/gemma-4-E4B-it - **Gemma E2B** https://huggingface.co/google/gemma-4-E2B-it - 12B 及以上使用 FP8/Q8_0 KV。 - 9B 及以下使用 BF16 KV。 - VLLM 以 AOT 模式运行，使用较小的 batch token 来增加上下文长度。 - Gemma 26B 和 Q 27B 配备了图像子 LLM（E4B），运行在我的处理器上。不过图像请求也很少。 --- # 结论与 TLDR 他们更偏好 **Gemma** 模型的回复。大多数人认为这是 5.5 / 5.6 级别的 Sol 模型，因为有 5 个人让我把他们的朋友也接到我的聊天 Web UI 上。 也许另一个关键收获是：如果你的公司为员工提供 LLM，或许值得考虑按能力对模型进行分层分区。