Kimi K3，以及我们还能从pelican基准测试中学到什么

# Kimi K3，以及我们仍能从中汲取的教训：鹈鹕基准测试 来源：https://simonwillison.net/2026/Jul/16/kimi-k3/ 2026年7月16日 中国AI实验室Moonshot AI今晨宣布推出Kimi K3（https://www.kimi.com/blog/kimi-k3），称其为“迄今为止最强大的模型，拥有2.8万亿参数”。该模型目前可通过其网站和API使用，但承诺将于“2026年7月27日”前开放权重。 Moonshot称这是首个“开放3T级模型”（他们似乎把2.8万亿四舍五入到了3万亿），从 DeepSeek 的 1.6T v4 Pro（https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro）手中夺走了桂冠。他们自行报告的基准测试（https://www.kimi.com/blog/kimi-k3#full-benchmark-table）显示，K3 大多能击败 Claude Opus 4.8 max 和 GPT-5.5 high，但逊于 Claude Fable 5 和 GPT-5.6 Sol。 以下是 Artificial Analysis 报告（https://twitter.com/ArtificialAnlys/status/2077832874183860404）中关于该模型的一些亮点： - “在我们私有的长场景知识工作评估中，Kimi K3 的总体 Elo 达到了 1547，比 Kimi K2.6 提升了 732 分，仅次于 Claude Fable 5。” - “每任务成本（0.94 美元）与 GPT-5.6 Sol（1.04 美元）相近，约为 Opus 4.8（1.80 美元）的一半，但高于开放权重同类模型。” - “在 Artificial Analysis Intelligence Index 上，Kimi K3 的令牌使用量显著下降，输出令牌比 K2.6 减少了 21%。” 该模型现在还是 Arena.ai 前端代码竞技场（https://twitter.com/arena/status/2077824029126504525）的领先模型，甚至超越了 Claude Fable 5。 新模型在定价方面很引人注目：输入令牌每百万个3美元，输出令牌每百万个15美元，这与 Anthropic 的 Claude Sonnet 系列处于同一水平，使其成为迄今为止由中国AI实验室发布的最昂贵模型。这相比他们早期的模型（如 Kimi K2.6（https://platform.kimi.ai/docs/pricing/chat-k26）的 0.95美元/4美元）有了显著提升。2.8万亿参数也是那个1T模型的两倍多。 #### 但它表现如何呢？ 我使用 OpenRouter（以避免注册 Moonshot API 密钥）和 llm-openrouter 插件（https://github.com/simonw/llm-openrouter）生成了一个骑自行车的鹈鹕的 SVG： ``` llm -m openrouter/moonshotai/kimi-k3 '生成一个骑自行车的鹈鹕的 SVG' ``` 这是对话记录（https://gist.github.com/simonw/66a2699eb1594258904c7b5102840dd6）。看起来是这样的： 见下方描述 那只鹈鹕消耗了 95 个输入令牌和 16,658 个输出令牌（其中 13,241 个是推理令牌），总成本为 25 美分（https://www.llm-prices.com/#it=95&ot=16658&ic=3&oc=15）！ 由于 K3 支持图像输入，我针对上面渲染出的 SVG（使用我的替代文本提示（https://simonwillison.net/guides/agentic-engineering-patterns/prompts/#alt-text））运行了它，并得到了（https://gist.github.com/simonw/665dbf840701b421745f2cb891acdfd6）（成本为 0.6 美分（https://www.llm-prices.com/#it=822&ot=243&ic=3&oc=15））： > 白色鹈鹕戴着红色围巾，骑着红色自行车行驶在带有白色虚线的灰色道路上的卡通插图；鹈鹕有大橙色喙和带蹼的橙色脚在踩踏板，后面有白色运动线；背景显示浅蓝色天空中有白云、黄色太阳、两只飞翔的小黑鸟，前景有绿色草地和白色小花。 #### 我们能从鹈鹕身上学到什么？ 我的生成骑自行车鹈鹕的 SVG（https://simonwillison.net/tags/pelican-riding-a-bicycle/）测试已经有 21 个月历史了。它从来就不是一个特别好的基准测试。最初它只是作为一个玩笑，用来证明比较这些模型是多么荒谬困难，但后来在头一年里，它竟然与模型的实际表现呈现出令人惊讶的相关性（https://simonwillison.net/2025/Jun/6/six-months-in-llms/）。 现在这种联系基本已经断开了。GPT-5.6（https://simonwillison.net/2026/Jul/9/gpt-5-6/）和 Claude Fable 5（https://simonwillison.net/2026/Jun/9/claude-fable-5/）的鹈鹕被 GLM-5.2（https://simonwillison.net/2026/Jun/17/glm-52/）超越了，尽管我很喜欢 GLM，但我不认为它属于 Fable 级别的模型。 （我仍然不相信这些实验室在针对该基准测试进行训练（https://simonwillison.net/2025/Nov/13/training-for-pelicans-riding-bicycles/）——如果是的话，我期待看到更好的结果。不过 Gemini 可能已经针对任何动物骑车的组合进行了优化（https://simonwillison.net/2026/Feb/19/gemini-31-pro/#jeff-dean）！） 鹈鹕测试最大的局限性在于，它完全没有触及当今模型最重要的方面：代理式工具调用，以及在对话变长时可靠地操作工具的能力。 所以，不要再用鹈鹕来比较模型了！ 话虽如此，我自己运行这个基准测试仍然能获得不少价值。 首先，它是一个推动我实际尝试该模型的有效手段。如果我展示了一只鹈鹕，那意味着我已经成功通过它运行了一个提示。如果模型有官方 API，我会使用它；如果是开放权重（并且小到可以装入 128GB M5 MacBook Pro），我会尝试在自己的机器上运行，通常通过 llama.cpp（https://github.com/ggml-org/llama.cpp）、LM Studio（https://lmstudio.ai/）或 Ollama（https://ollama.com/）。我经常使用 OpenRouter（https://openrouter.ai/），因为它通常提供官方 API 的代理，而我不需要新的 API 密钥。 我的大部分鹈鹕都是使用我的 LLM CLI 工具（https://llm.datasette.io/）生成的，这有助于促使我确保最新模型能够通过该工具（或其某个插件）得到支持。 但更重要的是，即使是单个提示“生成一个骑自行车的鹈鹕的 SVG”这个行为，也能揭示有趣的模型特性。 看看今天 Kimi K3 的结果（https://gist.github.com/simonw/66a2699eb1594258904c7b5102840dd6）。运行这些简单的提示有助于强调该模型的几个要点。 1. 目前它只有一个推理力度级别，即“max”——而且很明显。模型消耗了 13,241 个推理令牌来输出 3,417 个响应令牌。这很昂贵——这只鹈鹕花了 25 美分！ 2. 提示“生成一个骑自行车的鹈鹕的 SVG”怎么算出来是 95 个输入令牌？OpenAI 的分词器（https://platform.openai.com/tokenizer）统计为 10 个，Anthropic 的（https://tools.simonwillison.net/claude-token-counter）对 Opus 4.6 统计为 10 个，对 Opus 4.7 统计为 30 个，对 Sonnet 5/Fable 5 统计为 25 个。向 Kimi K3 输入“hi”（https://news.ycombinator.com/item?id=48935342#48936461）统计为 86 个令牌，表明可能存在一个 85 令牌的隐藏系统提示。不过它拒绝泄露（https://news.ycombinator.com/item?id=48935342#48936515）该提示。 3. 视觉功能效果不错：生成的替代文本非常好。 K3 目前只有一个思考力度级别，但我最近通过在不同力度级别下运行相同的鹈鹕提示，快速了解这些级别的影响，从而获得了不少价值。例如，这是我的 GPT-5.6 模型系列矩阵（https://static.simonwillison.net/static/2026/gpt-5.6-pelicans.html）。 实际上，我从鹈鹕测试中获得的主要收获是： 1. 这是一个针对模型进行提示的“你好世界”练习 2. 对简单任务的大致成本和推理估算 3. 确认模型能够输出有效的 SVG，并且具备基本的几何和空间意识。这对于在我的笔记本电脑上运行的较小模型来说意义更大。 4. 在同一模型家族的不同版本之间比较鹈鹕仍然很有趣。K3 的鹈鹕相比 Kimi 2.5（https://simonwillison.net/2026/Jan/27/kimi-k25/）有了显著改进。 5. 这是一个我可以分享并展示我已经尝试过它的东西。此外，在 Hacker News 上，提及鹈鹕的评论现在几乎成了一种传统，每当我发帖晚了，就会有人评论问鹈鹕在哪！