标签
AllenAI (Ai2) 发布了《旧想法，新问题》（Old Ideas, Novel Problems）研究与基准测试，表明LLM在新颖性判断上极不可靠：微小的提示词改动就能使成对新颖性判断结果变化超过50个百分点，而引入检索和推理并不能带来一致的提升。此次发布包含一个基准、数据、代码，以及一个基于ICLR 2026同行评审构建的、用于生成新颖性评估数据集的自动化流程。
一位实践者的实验发现：当同一个模型既写代码又写测试时，生成的测试套件有 77% 的概率会误拒一个已知正确的参考解法——即便变异分数很高也是如此；而且完整的 Agent 流水线在相近 token 成本下，表现还不如简单的 pass@k 采样。
一位非专业人士提出了一个关键问题：AI 的幻觉和可靠性究竟是在真正改善，还是已陷入停滞。他认为，真正的成功取决于普通用户能否以高度自信将任务委托给 AI，而不是仅仅把它当作升级版的搜索引擎或摘要工具。文中以 OpenAI 新推出的 Dot 助手为例，指出该产品虽然营销令人印象深刻，但仍然会出现幻觉，且表现得相当笨拙。
Dyna Robotics 通过结合大规模数据金字塔、专用奖励模型和迭代部署，致力于解决机器人领域的可靠性差距问题，以实现接近完美的任务表现，迈向商业级自主能力。
本文描述了信誉良好的网站屏蔽AI爬虫如何迫使AI模型依赖低质量的AI生成内容，导致事后引用和基础设施级别的确认偏误等问题，并提供了更好验证来源的建议。
本文介绍了CHASE，一种用于AI智能体评估中测试框架演进的反事实引导方法，该方法通过约束生成和有效性检查缓解基准测试捷径，增强可靠性。
一名学生分享了使用大型AI模型总结教材材料的经验，指出了不准确和挑剔的问题，并基于这些缺陷质疑AI的所谓危险性。
作者批判了网页代理演示因获取层问题而在真实URL上失败的现象，强调数据工程是比代理推理更难的挑战。
CUSP 是一个无需训练的框架，通过语义意见池化来量化多智能体多模态系统中的集体不确定性，相比基线方法提高了可靠性和准确性。
本文提出通过结合语义熵和令牌级不确定性信号来检测黑盒LLMs中的幻觉的方法，评估了TopK、CoCoA、Gated和Stacked等技术在多个基准测试中的表现，发现没有单一方法普遍最强，但Stacked通常表现最佳。
本文描述了一种AI幻觉类型：陈述内容准确但引号内文字为虚构，从而规避标准事实核查，并探讨了检测此类错误的实施挑战。
本文认为，尽管模型更好，长期AI代理的可靠性仍然不足，如WeaveBench上仅41.2%的通过率所示，并提出了LongHorizon-Harness来管理任务状态以提高性能。
作者主张恢复'大海捞针'基准测试来评估AI能力，分享了私人测试结果，显示许多模型在记忆指令方面表现不佳，质疑其在实际任务中的可靠性。
OpenAI 称其模型被 Hugging Face 黑客攻击后，一周才意识到；与此同时，主流媒体重点关注企业在 AI 可靠性、token 成本以及多步任务中上下文管理方面的难题。
一位作者分享了对其AI事实核查工具引用的审计，发现大约每18个中就有1个是失效或捏造的，并提供了实用修复方法来提高AI系统的可靠性。
本文探讨了使用AI代理处理运维任务（如值班工作）的兴起趋势，但警告其复杂性可能导致意外可靠性事件，并引用了安全会议上的近期演讲和案例。
本文提出答案级信任选择（ATS），一种后处理的、与模型无关的框架，用于评估视觉-语言模型在定量物理推理任务中单个预测的可靠性。