AI实验室是否在搞'pelicanmaxxing'?

Simon Willison's Blog 新闻

摘要

Dylan Castillo进行了一项严谨的调查,以确定AI实验室是否在秘密训练模型绘制骑自行车的鹈鹕。通过测试多种动物-车辆组合的多个模型,他没有发现'pelicanmaxxing'的证据。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:16

# AI实验室在搞“鹈鹕最大化”吗? 来源:https://simonwillison.net/2026/Jul/22/are-ai-labs-pelicanmaxxing/ 2026年7月22日 \- 链接博客 **AI实验室在搞“鹈鹕最大化”吗?(https://dylancastillo.co/posts/pelicanmaxxing.html)** (via (https://news.ycombinator.com/item?id=49010129)) 这是迪伦·卡斯蒂略(Dylan Castillo)的精彩之作,他深入探讨了一个常见问题:AI实验室是否曾刻意训练模型,以便在我那极度不科学的基准测试(https://simonwillison.net/tags/pelican-riding-a-bicycle/)中画出骑自行车的鹈鹕。 过去我经常随机抽查,测试模型针对其他动物骑其他交通工具的表现,但从未达到迪伦方法论中那样的严谨程度。 迪伦选取了8种动物 × 6种交通工具 = 48个提示词,每种提示词在7个不同模型(GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2和DeepSeek V4 Pro)上各运行三次。然后他使用GPT-5.6 Luna和Gemini 3.1 Flash-Lite来辅助评估结果。 有一个简洁的筛选视图可供探索结果: GLM-5.2的样本1/3网格截图,包含鹈鹕、火烈鸟、苍鹭骑着自行车、独轮车、滑板、踏板车、飞机和船 在他测试的模型中,没有发现鹈鹕最大化的证据: > - 骑自行车的鹈鹕看起来并不更好 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-1-the-pelicans-on-bicycles-dont-look-any-better) - 实验室并不更擅长画鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-2-labs-are-not-better-at-drawing-pelicans) - 实验室并不更擅长画自行车 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-3-labs-are-not-better-at-drawing-bicycles) - 即使调整难度后,实验室也不更擅长画骑自行车的鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-4-labs-are-not-better-at-drawing-pelicans-on-bicycles-even-adjusting-for-difficulty) - 鹈鹕骑自行车的场景看起来并非记忆所致 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-5-the-pelican-bicycle-scenes-dont-look-memorized)[……]鹈鹕画得并不比其他动物好。自行车画得也不比其他交通工具好。而且没有任何实验室画出的组合比其鹈鹕和自行车各自的表现更优。GLM-5.2最接近:它在鹈鹕骑自行车这一特定组合上提升最大,而且它的第一张鹈鹕骑自行车样本确实引起了我的注意。但这个效应很小且不显著,所以我不认为这有多大意义。

相似文章

Are AI Labs Pelicanmaxxing?

Hacker News Top

一项分析调查了AI实验室是否在针对流行的‘骑自行车的鹈鹕’SVG基准测试优化其模型,该测试在48个提示中测试了七个前沿模型,使用不同的动物和车辆,未发现过拟合的强有力证据。

scosman/pelicans_riding_bicycles

Simon Willison's Blog

Simon Willison 的链接帖介绍了一个名为“pelicans_riding_bicycles”的数据集或项目,可能用于 LLM 训练或生成式 AI 实验。