AI实验室是否在搞'pelicanmaxxing'?
摘要
Dylan Castillo进行了一项严谨的调查,以确定AI实验室是否在秘密训练模型绘制骑自行车的鹈鹕。通过测试多种动物-车辆组合的多个模型,他没有发现'pelicanmaxxing'的证据。
暂无内容
查看缓存全文
缓存时间: 2026/07/24 05:16
# AI实验室在搞“鹈鹕最大化”吗?
来源:https://simonwillison.net/2026/Jul/22/are-ai-labs-pelicanmaxxing/
2026年7月22日 \- 链接博客
**AI实验室在搞“鹈鹕最大化”吗?(https://dylancastillo.co/posts/pelicanmaxxing.html)** (via (https://news.ycombinator.com/item?id=49010129)) 这是迪伦·卡斯蒂略(Dylan Castillo)的精彩之作,他深入探讨了一个常见问题:AI实验室是否曾刻意训练模型,以便在我那极度不科学的基准测试(https://simonwillison.net/tags/pelican-riding-a-bicycle/)中画出骑自行车的鹈鹕。
过去我经常随机抽查,测试模型针对其他动物骑其他交通工具的表现,但从未达到迪伦方法论中那样的严谨程度。
迪伦选取了8种动物 × 6种交通工具 = 48个提示词,每种提示词在7个不同模型(GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2和DeepSeek V4 Pro)上各运行三次。然后他使用GPT-5.6 Luna和Gemini 3.1 Flash-Lite来辅助评估结果。
有一个简洁的筛选视图可供探索结果:
GLM-5.2的样本1/3网格截图,包含鹈鹕、火烈鸟、苍鹭骑着自行车、独轮车、滑板、踏板车、飞机和船
在他测试的模型中,没有发现鹈鹕最大化的证据:
> - 骑自行车的鹈鹕看起来并不更好 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-1-the-pelicans-on-bicycles-dont-look-any-better) - 实验室并不更擅长画鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-2-labs-are-not-better-at-drawing-pelicans) - 实验室并不更擅长画自行车 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-3-labs-are-not-better-at-drawing-bicycles) - 即使调整难度后,实验室也不更擅长画骑自行车的鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-4-labs-are-not-better-at-drawing-pelicans-on-bicycles-even-adjusting-for-difficulty) - 鹈鹕骑自行车的场景看起来并非记忆所致 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-5-the-pelican-bicycle-scenes-dont-look-memorized)[……]鹈鹕画得并不比其他动物好。自行车画得也不比其他交通工具好。而且没有任何实验室画出的组合比其鹈鹕和自行车各自的表现更优。GLM-5.2最接近:它在鹈鹕骑自行车这一特定组合上提升最大,而且它的第一张鹈鹕骑自行车样本确实引起了我的注意。但这个效应很小且不显著,所以我不认为这有多大意义。
相似文章
Are AI Labs Pelicanmaxxing?
一项分析调查了AI实验室是否在针对流行的‘骑自行车的鹈鹕’SVG基准测试优化其模型,该测试在48个提示中测试了七个前沿模型,使用不同的动物和车辆,未发现过拟合的强有力证据。
@reach_vb: 嘿 @simonw - 既然 pelican on a bike svg 已经饱和(?),你现在评估模型或 harness 的首选方法是什么…
一条来自 @reach_vb 的推文,向 @simonw 询问评估 AI 模型或 harness 的方法,提到了已饱和的 'pelican on a bike svg' 基准。
scosman/pelicans_riding_bicycles
Simon Willison 的链接帖介绍了一个名为“pelicans_riding_bicycles”的数据集或项目,可能用于 LLM 训练或生成式 AI 实验。
@karpathy: More on the pelican on the bicycle test from @simonw: https://simonwillison.net/2025/Jun/6/six-months-in-llms/… I uploa…
Simon Willison's keynote at AI Engineer World's Fair reviews the last six months in LLMs, highlighting over 30 significant model releases and his 'pelican on a bicycle' SVG benchmark as a practical evaluation tool.
忘掉鹈鹕,迎来象鼻虫时代! / 防基准测试过度的 SVG 和视觉基准测试
本文介绍了使用不同量化和设置测试 Qwen3.8-27B AI 模型,以将其图像重建为 SVG,目标是创建一个能抵御基准测试过度优化的基准。初步结果显示,高推理强度和特定的缓存配置能提升性能。