利用LLMs寻找蘑菇：可能出什么问题？

Hacker News Top 2026/09/02 16:58 新闻

llm-benchmark mushroom-identification vision-ai dataset-analysis ai-safety llm-vision zero-shot-learning

摘要

本文评估了各种LLMs从图像中识别蘑菇种类的能力，使用大型数据集，强调了在现实应用中的准确性问题和安全隐患。

暂无内容

查看原文

查看缓存全文

缓存时间: 2026/09/02 17:50

# 用大语言模型采蘑菇：可能出什么问题？来源：https://quesma.com/blog/mushroom-llm-vision/ 你在森林里看到一朵蘑菇，拍了张照片，然后将其发给AI聊天助手。 AI聊天助手识别出一种颜色鲜艳的橙黄色、珊瑚状蘑菇，生长在布满苔藓的林地上。我的照片被发给了ChatGPT。它在回答后补充了更多细节：*这种组合特征明显：鲜艳的橙黄色、密集分枝的鹿角/珊瑚状子实体、光滑且略带胶质的分枝，生长在布满苔藓的林地中的腐烂/埋没的木材上。*无毒，但也不可食用。这或许有助于识别……但我们该把健康或生命托付给它吗？ ## 数据集 https://quesma.com/blog/mushroom-llm-vision/#dataset 我原本打算创建一个数据集，但很高兴发现已有一个现有的FungiTastic (https://bohemianvra.github.io/FungiTastic/)数据集，包含340k个观测记录（615k张照片），涵盖2.8k个物种。该数据集由捷克计算机视觉研究人员构建，基于公民科学项目《丹麦真菌图集》(https://svampe.databasen.org/)的数据。标签由专家验证，其中一部分经过DNA测序。除了普通照片，它还包含掩膜、说明文字、显微镜和卫星图像——远超出我们的需求。该数据集专为监督学习设计，采用经典的训练-测试-验证划分。划分并非随机，而是按年份进行：训练集截至2021年，验证集2022年，测试集2023年。我们不进行训练，因此直接使用测试集。在传统机器学习中，直接使用大语言模型的方法被称为零样本（0-shot）方法。我们关注的是人们用智能手机拍摄的普通照片。为了挑选在森林中实际可能遇到的物种（而不是在实验室或浴室墙上），我参考了波兰的蘑菇清单，那里有强大的采集传统。一项流行的消遣活动——采蘑菇 (https://en.wikipedia.org/wiki/Mushroom_hunting)，拥有自己的名称——*grzybobranie*，在那里带着刀进林子是社会所接受的。谈到安全，我挑选了两个清单——一个是波兰官方可销售蘑菇清单 (https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20230002237)（47种，其中37种在数据集中），另一个是维基百科上的致命蘑菇物种清单 (https://en.wikipedia.org/wiki/List_of_deadly_mushroom_species)，与数据集取交集后有20个物种。有趣的是，它们的交集是*Tricholoma equestre* (https://en.wikipedia.org/wiki/Tricholoma_equestre)（英文俗称*yellow knight*，波兰语*gąska zielonka*），在一些国家被认为是可食用的，但在另一些国家却致命，并有记录在案的致死事件。这就是处理充满矛盾的真实数据的乐趣！以下是所有55个物种。照片来自训练集，以避免数据泄露。要查看名称，请悬停或点击图块。名称以以下语言显示： ## 基准测试 https://quesma.com/blog/mushroom-llm-vision/#benchmark 我要求模型： > 这是什么蘑菇物种？请以JSON数组形式回复最可能的5个物种的拉丁双名，最可能的排在最前。只输出JSON数组，不要其他内容。我使用了测试集中每个物种的20张照片，总计1,040张。对于少数稀有物种，照片数量较少，因此我从验证集中补充了一些。我使用拉丁学名。传统名称虽然生动，但标准化程度较低。以下是结果，包括首次猜测和前五个猜测中的准确率。代码、照片列表和所有模型的回复都在代码库中 (https://github.com/stared/mushroom-hunting-llb-bench)，如果你想重新运行的话。 | 模型 | 首次猜测准确率 | 前五猜测准确率 | 成本 | | :--- | :---: | :---: | :--- | | Google gemini-3.6-flash | 64% | 85% | $4.43* | | Google gemini-3.7-flash | 61% | 82% | $2.82* | | Anthropic claude-fable-5 | 53% | 72% | $14.10 | | Kimi kimi-k3 | 53% | 70% | $59.99 | | Anthropic claude-fable-5.1 | 51% | 70% | $12.88 | | Z.ai glm-5.3-flash | 47% | 72% | $0.24* | | Qwen qwen3.8-max | 47% | 70% | $15.66 | | Anthropic claude-opus-5 | 44% | 63% | $8.00 | | Grok grok-4.6 | 44% | 62% | $18.69 | | OpenAI gpt-5.6-sol | 42% | 61% | $5.27 | | OpenAI gpt-5.6-sol-pro | 39% | 62% | $26.18 | | Meta muse-spark-1.2 | 39% | 54% | $5.97 | | DeepSeek deepseek-v4-flash-vision | 30% | 46% | $2.05 | | Qwen qwen3.8-flash | 27% | 43% | $1.42 | | Minimax minimax-m3 | 24% | 40% | $0.64 | | Qwen qwen3.8-27b | 13% | 24% | $15.73 | \*帕累托前沿：没有模型既更准确又更便宜 Gemini 3.6 和 3.7 Flash 在榜单上领先，就像在其他视觉基准测试中一样 (https://artificialanalysis.ai/models/multimodal/vision) —— 然而这里的优势相当明显。我们已经知道 Gemini 3.7 Flash 在解谜游戏中表现出色 (https://quesma.com/blog/baba-is-aug-2026/)。有点令人惊讶的是，它们不仅便宜，而且在识别蘑菇方面优于前沿的 Claude Fable 5 和 GPT-5.6-Sol（后者被誉为 OpenAI 最佳视觉模型 (https://blog.roboflow.com/openai-gpt-5-6/)）。GLM-5.3-Flash 在成本效益方面表现极为出色。 ## 错误分析 https://quesma.com/blog/mushroom-llm-vision/#mistakes 让我们看看有哪些错误——看看它们是小问题还是致命问题。大多数错误是无害的：一种乳菇被误认为另一种乳菇，一种牛肝菌被误认为另一种牛肝菌。危险的错误并非随机发生。一种致命的丝膜菌被误认为鸡油菌——这正是会导致采集者丧命的错误。以下是一些例子。 | 物种（拉丁名） | 分类结果 | 占比 | 混淆物种（多语言） | | :--- | :--- | :---: | :--- | | **毒鹅膏** Amanita phalloides | 正确识别为**毒鹅膏** muchomor sromotnikowy muchomůrka zelená мухомор зелений Grüner Knollenblätterpilz žalsvoji musmirė kavala kärpässieni lömsk flugsvamp grøn fluesvamp | 46% | **致命** | | | 误认为可食用的**灰鹅膏** Amanita vaginata muchomor mglear muchomůrka vaginata Amanita vaginata (多种语言) | 17% | | | | 误认为不可食用的**假毒鹅膏** Amanita citrina muchomor cytrynowy muchomůrka citrónová мухомор цитриновий Gelber Knollenblätterpilz gelsvoji musmirė keltakärpässieni vitgul flugsvamp kugleknoldet fluesvamp | 11% | | | | 误认为有毒的**毁灭天使** Amanita virosa muchomor jadowity muchomůrka jízlivá мухомор білий смердючий Kegelhütiger Knollenblätterpilz smailia kepurė musmirė valkokärpässieni vit flugsvamp snedvid fluesvamp **东方毁灭天使** Amanita bisporigera (多种语言) | 15% | | | **秋日鳞伞** Galerina marginata | 正确识别为**秋日鳞伞** hełmówka jadowita čepičatka jednobarvá галерина оторочкувата Gift-Häubling eglinė kūgiabudė myrkkynääpikkä gifthätting randbæltet hjelmhat | 39% | **致命** | | | 误认为可食用的**库恩木菇** Kuehneromyces mutabilis łuskwiak zmienny opeňka měnlivá опеньок літній Gemeines Stockschwämmchen paprastoji kelmiukė koivunkantosieni föränderlig tofsskivling foranderlig skælhat **冬蕈** Flammulina velutipes (多种语言) | 23% | | | | 误认为不可食用的**普通丝膜菌** Gymnopilus penetrans łysak plamistoblaszkowy plaménka nevonná Gymnopilus penetrans Geflecktblättriger Flämmling Gymnopilus penetrans kangaskarvaslakki fläckig bitterskivling plettet flammehat **褐鳞靴耳** Tubaria furfuracea (多种语言) | 13% | | | | 误认为有毒的**苔藓盔孢伞** Galerina hypnorum hełmówka mszarowa čepičatka mechová Galerina hypnorum (多种语言) | 10% | | | **华丽丝膜菌** Calonarius splendens | 正确识别为**华丽丝膜菌** zasłonak wspaniały pavučinec nádherný Calonarius splendens Schöngelber Klumpfuß Calonarius splendens (多种语言) | 16% | **致命** | | | 误认为可食用的**鸡油菌** Cantharellus cibarius pieprznik jadalny liška obecná лисичка справжня Echter Pfifferling valgomoji voveraitė keltavahverokantarelli almindelig kantarel **美洲粘盖牛肝菌** Suillus americanus (多种语言) | 27% | | | | 误认为不可食用的**藏红花丝膜菌** Cortinarius croceus zasłonak szafranowy Cortinarius croceus (多种语言) **假鸡油菌** Hygrophoropsis aurantiaca lisówka pomarańczowa lištička pomerančová лисичка несправжня Falscher Pfifferling voveraitinė guotelė valevahveronarr kantarelli almindelig orangekantarel | 15% | | | | 误认为有毒的**硫色口蘑** Tricholoma sulphureum gąska siarkowa čirůvka sírožlutá Tricholoma sulphureum Gemeiner Schwefel-Ritterling Tricholoma sulphureum (多种语言) **黄绿口蘑** Tricholoma equestre (多种语言) | 26% | | | **褶纹杯伞** Clitocybe rivulosa | 正确识别为**褶纹杯伞** lejkówka jadowita strmělka odbarvená клітоцибе червонуватий отруйний Rinnigbereifter Trichterling Clitocybe rivulosa (多种语言) | 30% | **致命** | | | 误认为可食用的**灰光柄菇** Clitopilus prunulus bruzdniczek największy mechovka obecná підвишень Mehlräsling miltagrybis vyšninis jauhosieni mjölskivling gråhvid melhat **田野蘑菇** Agaricus campestris (多种语言) | 49% | | | | 误认为不可食用的**白洁杯伞** Lepiota erminea (多种语言) **香杯伞** Clitocybe fragrans (多种语言) | 4% | | | | 误认为有毒的**灰杯伞** Clitocybe nebularis lejkówka szarawa Clitocybe nebularis (多种语言) **丝质光柄菇** Entoloma sericeum (多种语言) | 10% | | | **致命小菇** Lepiota subincarnata | 正确识别为**致命小菇** czubajeczka różowa wabedla namasovělá лепіота рожева Lepiota subincarnata (多种语言) | 5% | **致命** | | | 误认为可食用的**白鳞蘑菇** Leucoagaricus leucothites pieczareczka różowoblaszkowa Leucoagaricus leucothites (多种语言) **硬柄小皮伞** Marasmius oreades (多种语言) | 32% | | | | 误认为不可食用的**赭黄环锈伞** Cystoderma amianthinum ziarnówka ochrowożółta zrnivka osinková Cystoderma amianthinum (多种语言) **斑点韧伞** Rhodocollybia maculata (多种语言) | 14% | | | | 误认为有毒的**簇生黄韧伞** Lepiota cristata czubajeczka cuchnąca bedla hřebenitá Lepiota cristata Stink-Schirmling dvokiančioji žvynabudėlė puistoukonsieni syrlig fjällskivling stinkende parasolhat **盾形小菇** Lepiota clypeolaria (多种语言) | 35% | | | **假疣柄牛肝菌** Leccinellum pseudoscabrum | 正确识别为**假疣柄牛肝菌** koźlarz grabowy kozák habrový підберезник грабовий Hainbuchen-Röhrling Leccinellum pseudoscabrum (多种语言) | 9% | 可食用 | | | 误认为可食用的**褐疣柄牛肝菌** Leccinum scabrum koźlarz babka kozák březový підберезник Gemeiner Birkenpilz lepšė lehmäntattibjörksopp brun skælrørhat **牛肝菌** Boletus edulis (多种语言) | 73% | | | | 误认为不可食用的**苦牛肝菌** Tylopilus felleus goryczak żółciowy hřib žlučník гірчак Gemeiner Gallenröhrling aitrusis pušynbaravykis sappitattigallsopp galderørhat **假毒鹅膏** Amanita citrina (多种语言) | 7% | | | | 误认为有毒的**毒粉褶菌** Hebeloma crustuliniforme włosianka rosista Hebeloma crustuliniforme (多种语言) **簇生黄韧伞** Lepiota cristata (多种语言) | 3% | | | **云杉乳菇** Lactarius deterrimus | 正确识别为**云杉乳菇** mleczaj świerkowy ryzec smrkový рижик ялиновий Fichten-Reizker glyninė rudmėsė kuusenleppärousku blodriskagran-mælkehat | 29% | 可食用 | | | 误认为可食用的**红汁乳菇** Lactarius deliciosus mleczaj rydz ryzec pravý рижик смачний Edel-Reizker pušyninė rudmėsė männynleppärousku tallblodriskavelsmagende mælkehat **鸡油菌** Cantharellus cibarius (多种语言) | 48% | | | | 误认为不可食用的**假鸡油菌** Hygrophoropsis aurantiaca (多种语言) **红乳菇** Lactarius rufus (多种语言) | 10% | | | | 误认为有毒的**绒毛乳菇** Lactarius torminosus mleczaj wełnianka ryzec kravský вовнянка Birken-Milchling piengrybis paberžis karvarouskuskäggriskaskægget mælkehat **卷边桩菇** Paxillus involutus (多种语言) | 3% | | | **高大环柄菇** Macrolepiota procera | 正确识别为**高大环柄菇** czubajka kania bedla vysoká гриб-зонтик великий Gemeiner Riesenschirmling skėtinė žvynabudė ukonsieni stolt fjällskivling stor kæmpeparasolhat | 82% | 可食用 | | | 误认为可食用的**粗鳞大环柄菇** Chlorophyllum rhacodes czubajka czerwieniejąca bedla červenající гриб-зонтик червоніючий Gemeiner Safranschirmling šiurkščioji žvynabudė puistoakansieni rodnande fjällskivling ægte rabarberhat **大马勃** Calvatia gigantea (多种语言) | 10% | | | | 误认为不可食用的**Amanita thiersii** Amanita thiersii (多种语言) **欧洲白蛋巢菌** Amanita ovoidea (多种语言) | 1% | | | | 误认为有毒的**绿褶菇** Chlorophyllum molybdites czubajka zielonawa Chlorophyllum molybdites Grünsporiger Riesenschirmling Chlorophyllum molybdites (多种语言) grønsporet rabarberhat **疣鳞蘑菇** Lepiota aspera (多种语言) | 5% | | 观察各模型的错误率很有趣。这里我们关注的是将可食用蘑菇误判为有毒的条件概率（假阳性错误），以及将有毒蘑菇误判为可食用的条件概率（假阴性错误）。后者对人类健康更为危险。由于样本量小（20张/物种），置信区间很大（对于20%的比例，±18%）。尽管如此，整体模式是清晰的：模型在识别可食用蘑菇方面做得很好（低假阳性率），但在区分有毒物种方面表现参差不齐，有时危险地差（高假阴性率）。例如，有27%的毒鹅膏被误认为可食用的灰鹅膏。这正是采集者会犯并导致中毒的错误。 ## 结论 https://quesma.com/blog/mushroom-llm-vision/#conclusion 大语言模型在蘑菇识别方面表现参差不齐。一些模型（如Gemini Flash系列）准确率令人印象深刻且成本低廉。然而，关键问题在于其错误模式。对于毒鹅膏这样的致命物种，模型仍有显著概率将其误认为可食用蘑菇。这与人类采集者犯的致命错误相同。因此，虽然大语言模型可以作为学习工具或第二意见，但**绝不应**将其作为野外识别蘑菇安全性的主要依据。一个错误可能就是最后一个错误。永远：如有疑问，就扔掉。如果你对数据集、代码或结果感兴趣，请查看代码库：https://github.com/stared/mushroom-hunting-llb-bench

利用LLMs寻找蘑菇：可能出什么问题？

相似文章

LLMs中的幻觉：基于生命周期的成因、检测、缓解与预防综述

一个根本缺陷使LLM极易受到攻击

基准是否低估了 LLM 的性能？采用以大语言模型为先、人工仲裁的评估方法评估幻觉检测

区分AI生成与人类撰写：评估LLM检测LLM生成内容的能力

标记错误症状：评估医学文本中的LLM水印

提交意见反馈