首页
/
新闻
/
AI实验室是否在搞'pelicanmaxxing'?
AI实验室是否在搞'pelicanmaxxing'?
摘要
Dylan Castillo进行了一项严谨的调查,以确定AI实验室是否在秘密训练模型绘制骑自行车的鹈鹕。通过测试多种动物-车辆组合的多个模型,他没有发现'pelicanmaxxing'的证据。
暂无内容
查看缓存全文
缓存时间:
2026/07/24 05:16
# AI实验室在搞“鹈鹕最大化”吗?
来源:https://simonwillison.net/2026/Jul/22/are-ai-labs-pelicanmaxxing/
2026年7月22日 \- 链接博客
**AI实验室在搞“鹈鹕最大化”吗?(https://dylancastillo.co/posts/pelicanmaxxing.html)** (via (https://news.ycombinator.com/item?id=49010129)) 这是迪伦·卡斯蒂略(Dylan Castillo)的精彩之作,他深入探讨了一个常见问题:AI实验室是否曾刻意训练模型,以便在我那极度不科学的基准测试(https://simonwillison.net/tags/pelican-riding-a-bicycle/)中画出骑自行车的鹈鹕。
过去我经常随机抽查,测试模型针对其他动物骑其他交通工具的表现,但从未达到迪伦方法论中那样的严谨程度。
迪伦选取了8种动物 × 6种交通工具 = 48个提示词,每种提示词在7个不同模型(GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2和DeepSeek V4 Pro)上各运行三次。然后他使用GPT-5.6 Luna和Gemini 3.1 Flash-Lite来辅助评估结果。
有一个简洁的筛选视图可供探索结果:
GLM-5.2的样本1/3网格截图,包含鹈鹕、火烈鸟、苍鹭骑着自行车、独轮车、滑板、踏板车、飞机和船
在他测试的模型中,没有发现鹈鹕最大化的证据:
> - 骑自行车的鹈鹕看起来并不更好 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-1-the-pelicans-on-bicycles-dont-look-any-better) - 实验室并不更擅长画鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-2-labs-are-not-better-at-drawing-pelicans) - 实验室并不更擅长画自行车 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-3-labs-are-not-better-at-drawing-bicycles) - 即使调整难度后,实验室也不更擅长画骑自行车的鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-4-labs-are-not-better-at-drawing-pelicans-on-bicycles-even-adjusting-for-difficulty) - 鹈鹕骑自行车的场景看起来并非记忆所致 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-5-the-pelican-bicycle-scenes-dont-look-memorized)[……]鹈鹕画得并不比其他动物好。自行车画得也不比其他交通工具好。而且没有任何实验室画出的组合比其鹈鹕和自行车各自的表现更优。GLM-5.2最接近:它在鹈鹕骑自行车这一特定组合上提升最大,而且它的第一张鹈鹕骑自行车样本确实引起了我的注意。但这个效应很小且不显著,所以我不认为这有多大意义。
相似文章
Hacker News Top
一项分析调查了AI实验室是否在针对流行的‘骑自行车的鹈鹕’SVG基准测试优化其模型,该测试在48个提示中测试了七个前沿模型,使用不同的动物和车辆,未发现过拟合的强有力证据。
Reddit r/MachineLearning
Reddit上的一个讨论,询问Parrot AI模型是否比现有模型更好,附有一张图片,可能展示了基准测试或对比结果。
Hugging Face Models Trending
XYZ AI Lab releases XYZ-Aquila-pro, an open-weight thinking model for agentic deep search, post-trained from Qwen3.5-397B-A17B via a bounded-exploration AI4AI pipeline, with strong benchmark results in sub-400B open-weight comparisons.
X AI KOLs Timeline
A security researcher tested four AI approaches (Semgrep, GLM 5.1+Strix, Cursor+GPT 5.5, local AI with custom harness) to find a known LFI vulnerability in PHPIPAM. Only the local AI harness consistently succeeded, demonstrating that the harness methodology matters more than the model, and highlighting advantages of local AI for cost, privacy, and flexibility in security research.
X AI KOLs Following
该推文批评了 AI 应用过度使用大型模型,并介绍了旨在根据不同请求匹配合适模型规模以提高效率的 Dari Router 工具。