AI实验室是否在搞'pelicanmaxxing'?

Simon Willison's Blog 新闻

摘要

Dylan Castillo进行了一项严谨的调查,以确定AI实验室是否在秘密训练模型绘制骑自行车的鹈鹕。通过测试多种动物-车辆组合的多个模型,他没有发现'pelicanmaxxing'的证据。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:16

# AI实验室在搞“鹈鹕最大化”吗? 来源:https://simonwillison.net/2026/Jul/22/are-ai-labs-pelicanmaxxing/ 2026年7月22日 \- 链接博客 **AI实验室在搞“鹈鹕最大化”吗?(https://dylancastillo.co/posts/pelicanmaxxing.html)** (via (https://news.ycombinator.com/item?id=49010129)) 这是迪伦·卡斯蒂略(Dylan Castillo)的精彩之作,他深入探讨了一个常见问题:AI实验室是否曾刻意训练模型,以便在我那极度不科学的基准测试(https://simonwillison.net/tags/pelican-riding-a-bicycle/)中画出骑自行车的鹈鹕。 过去我经常随机抽查,测试模型针对其他动物骑其他交通工具的表现,但从未达到迪伦方法论中那样的严谨程度。 迪伦选取了8种动物 × 6种交通工具 = 48个提示词,每种提示词在7个不同模型(GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2和DeepSeek V4 Pro)上各运行三次。然后他使用GPT-5.6 Luna和Gemini 3.1 Flash-Lite来辅助评估结果。 有一个简洁的筛选视图可供探索结果: GLM-5.2的样本1/3网格截图,包含鹈鹕、火烈鸟、苍鹭骑着自行车、独轮车、滑板、踏板车、飞机和船 在他测试的模型中,没有发现鹈鹕最大化的证据: > - 骑自行车的鹈鹕看起来并不更好 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-1-the-pelicans-on-bicycles-dont-look-any-better) - 实验室并不更擅长画鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-2-labs-are-not-better-at-drawing-pelicans) - 实验室并不更擅长画自行车 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-3-labs-are-not-better-at-drawing-bicycles) - 即使调整难度后,实验室也不更擅长画骑自行车的鹈鹕 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-4-labs-are-not-better-at-drawing-pelicans-on-bicycles-even-adjusting-for-difficulty) - 鹈鹕骑自行车的场景看起来并非记忆所致 (https://dylancastillo.co/posts/pelicanmaxxing.html#evidence-5-the-pelican-bicycle-scenes-dont-look-memorized)[……]鹈鹕画得并不比其他动物好。自行车画得也不比其他交通工具好。而且没有任何实验室画出的组合比其鹈鹕和自行车各自的表现更优。GLM-5.2最接近:它在鹈鹕骑自行车这一特定组合上提升最大,而且它的第一张鹈鹕骑自行车样本确实引起了我的注意。但这个效应很小且不显著,所以我不认为这有多大意义。

相似文章

Are AI Labs Pelicanmaxxing?

Hacker News Top

一项分析调查了AI实验室是否在针对流行的‘骑自行车的鹈鹕’SVG基准测试优化其模型,该测试在48个提示中测试了七个前沿模型,使用不同的动物和车辆,未发现过拟合的强有力证据。

XYZAILab/XYZ-Aquila-pro

Hugging Face Models Trending

XYZ AI Lab releases XYZ-Aquila-pro, an open-weight thinking model for agentic deep search, post-trained from Qwen3.5-397B-A17B via a bounded-exploration AI4AI pipeline, with strong benchmark results in sub-400B open-weight comparisons.

@apivixtls: 这篇文章看完后,我真正注意到的点不是比哪个模型更厉害。作者拿AI跑了一圈实际的安全研究测试。Semgrep直接没找到。Strix接GLM 5.1跑了12小时,花了接近6000万tokens,还是没抓到关键漏洞。Cursor配GPT 5.5…

X AI KOLs Timeline

A security researcher tested four AI approaches (Semgrep, GLM 5.1+Strix, Cursor+GPT 5.5, local AI with custom harness) to find a known LFI vulnerability in PHPIPAM. Only the local AI harness consistently succeeded, demonstrating that the harness methodology matters more than the model, and highlighting advantages of local AI for cost, privacy, and flexibility in security research.