标签
该文章基于基准测试论文和研究，列举了十种多模态AI系统中有记录的失败模式，在这些模式中，模型会生成流畅但与实际输入不符的回答。
本研究对14个大型语言模型在化妆品化学与皮肤健康主题上进行了基准测试，发现其准确性和可靠性较差，尤其在技术性和量化任务中。研究得出结论，当前通用型LLM在未经过进一步微调和算法改进的情况下，无法为知情的消费者决策提供可靠信息。
本文将多智能体LLM流水线中的幻觉传播建模为马尔可夫过程，表明错误在各个阶段变得越来越难以检测，并提出早期验证以降低存活率。
一位用户报告了Google 3.1 TTS预览模型中的重大错误，该模型在音频输出中编造内容，引发了人们对AI在关键应用中可靠性的担忧。
一位用户分享了对 AI 模型的担忧：AI 在数据单薄或含糊不清时，也能以与数据充分时相同的自信呈现结论。文中举了一个例子：一条仅在 200 条评论中出现两次的投诉，被列为头号关注点。文章质疑这是否是一个可通过提示词修复的问题，还是一个需要人工核验的根本性局限。
本文分析了企业AI在受监管企业中的部署为何停滞不前，提出了一个包含准确性、可复现性、有据可依性和可检测性的生产标准。文章测量了不同模型和工具配置下的人工审查负担，表明置信度信号和来源引用可将审查率从100%降至49%，但自我验证增加了延迟，却没有提高错误容忍度。
一位用户讲述了AI编程助手在调试代码时自信地编造了三次不存在的函数，每次道歉后又给出同样虚构的建议，凸显了AI在技术任务中常见的“幻觉”问题。
一位开发者分享了在让分析交易图表的AI给出一致答案时学到的经验。修复方法包括将温度设置为0并在所有管道阶段使用固定种子，并强调确定性是一种信任特性，必须与基于真实数据的接地相结合。
观察从应对AI幻觉转向更紧迫的生产级AI故障问题，强调企业部署中需要系统可靠性、决策追踪和限制爆炸半径。
用户报告称，AI模型Gemini和Claude在旅行中提供了错误的公交时刻表信息，这些模型承认它们给出的是近似答案而非精确事实，这凸显了可靠性问题。
本文探讨了两种关于AI可靠性的对立方法：投资更智能的模型与使用独立的验证系统，并指出在不同任务复杂程度下，两种方法可能各有适用场景。
本文研究语言模型产生幻觉的原因，提出幻觉通常源于有偏的潜在推理（推理失配），而非知识缺失。它引入了TrapQA，一个受控的诊断测试平台，用于测试推理与先验知识之间的对抗，并证明幻觉可能源于误导性的潜在关联。
本文认为，严肃AI系统下一个主要的竞争轴线是可靠性和可信度，而不仅仅是能力或流畅度。文章强调了新兴的验证技术——如独立检查和基于评分标准的评级——旨在捕捉自信但错误的输出，这种失败模式被称为'pseudo-correctness'。
Scott Clark，Distributional 联合创始人兼首席执行官，将在2026年7月18日至19日于旧金山举行的AGI Summit SF 2026上，就AI可靠性和测试发表演讲。
本文讨论了在电子表格中使用AI时独特的可靠性挑战，错误可能隐藏在公式和上下文中，并主张专注于狭窄、可验证的任务，而非广泛的表格理解。
Pramaana Labs 获得了由 Khosla Ventures 领投的 2700 万美元种子轮融资，旨在应用形式化验证（使用 LEAN 编程语言）来提高在诸如法律、药物发现和税务准备等高风险领域中的 AI 可靠性。
一位用户报告称，谷歌AI反复给出错误答案（关于“有史以来最薄的笔记本电脑”），即使在承认错误后也未能从中学习。
作者报告称，谷歌的Gemini一贯会捏造技术答案，编造功能和指令，而非承认不确定性，这给技术指导带来了风险。
一位用户分享了使用ChatGPT进行复杂医疗护理的经验，并提出聚合多个AI模型的想法，通过寻求不同LLM之间的共识来提高可靠性。
分析显示，GPT 5.5 在 SWEBench Pro 上的失败中有 28.9% 是由于损坏或错误的测试用例所致，类似问题也影响了其他主要 AI 基准测试，引发了对当前评估方法准确性的担忧。