hallucination

本文详细阐述了法律 AI 系统在生产环境中面临的三种常见故障模式：将所有来源视为同等可信、无法处理相互矛盾的法律观点，以及缺乏特定律所的内部知识。文章提出了诸如权威性加权、分歧检测以及注释层等解决方案，以建立系统的可信度与实用性。

一名缅因州律师因在法院文件中依赖人工智能，导致引用错误和对判例法的错误描述，而面临制裁，包括强制培训。

文章强调了AI代理工作流程中实际的系统级失败，例如上下文泄漏和幻觉细节，认为这些通常是基础设施问题而非模型缺陷。

本文提出了一个统一的几何框架，用于理解 Transformer 的内存故障，通过隐藏状态吸引子盆地（attractor basins）区分冲突仲裁与幻觉。研究表明，随着模型规模的扩大，几何边际（geometric margin）在检测这些故障方面优于输出熵。

本文提出了一种分布对齐对抗性蒸馏（DisAAD）方法，该方法使用一个轻量级代理模型，仅以原始模型1%的规模来估计黑盒大语言模型的不确定性，实现了无需内部参数或多次采样的可靠量化。

本文识别并形式化了多模态RAG中的“再污染”现象，即添加准确上下文会导致模型因注意力崩溃（视觉盲区和位置偏差）而放弃正确预测。作者提出BAIR，一种无参数的推理时框架，能恢复视觉显著性并惩罚文本干扰因素，从而在医学、公平性和地理空间基准上提高可靠性。

一位用户讨论了将免费AI模型用作教育辅导时在可靠性和一致性上的挫败感，质疑付费版本在学习技术概念方面是否表现显著更好。

GPT-5.5 在基准测试中达到新水平但存在幻觉问题；Kimi K2.6 领先开源大语言模型；同时探讨 AI 对气候承诺的影响以及大语言模型的战略思维。

罗格斯大学研究人员将 LLM 中的引文幻觉追溯到稀疏的字段特异性神经元，并通过因果干预抑制虚假引用。

一位新手在尝试用 Qwen2.5-7B-Instruct 给员工笔记做摘要时遭遇幻觉，现求助适用于 2000 token 以内、能合并同类标签的小模型及提示策略。

研究人员提出了 PRISM 诊断基准，该基准将大语言模型（LLM）的幻觉拆解为四个维度（知识缺失/错误、推理错误、指令遵循错误），涵盖三个生成阶段（记忆、指令、推理），并通过评估 24 款大语言模型，揭示了各类缓解策略之间存在的权衡关系。

本文通过机制分析研究视觉-语言模型中的提示诱导幻觉，识别出导致模型偏向文本提示而忽视视觉证据的特定注意力头。作者证明了删除这些PIH头可以在无需额外训练的情况下减少至少40%的幻觉，揭示了该故障模式背后的模型特定机制。

本文提供因果证据表明自回归语言模型中的幻觉源于由非对称吸引子动力学驱动的早期轨迹承诺。通过在Qwen2.5-1.5B上进行同提示分叉和激活补丁实验，证明幻觉轨迹在首个token处分叉，并在模型各层间展现强烈的因果非对称性。

这件事发生在几小时前，我感觉自己确实偶然发现了一个值得为关注 AI 行为的人记录下来的案例。我会尽量精确地还原整个时间线，因为事件的先后顺序在此处至关重要。如果你想自己阅读完整聊天记录：https://g.co/gemini/share/0cb9f054ca58 --- **背景** 我当时正在使用付费版 Gemini 最先进的模型来分析 AAVE 上的实时加密交易。该代币在过去一小时内毫无征兆地下跌了 7–9%，没有任何新闻能够解释，而...

Jerry Liu讨论了使用视觉语言模型进行PDF解析所面临的挑战，特别是关于确保文本正确性和保持正确阅读顺序的同时避免出现幻觉问题。

DeepMind推出FACTS Grounding，这是一个包含1,719个示例的全面基准测试，用于评估大语言模型在源材料中的事实依据能力以及避免幻觉的准确性。该基准包括一个公开数据集和一个在线Kaggle排行榜，用于追踪LLM在事实准确性和事实依据任务上的表现。

# TruthfulQA：衡量模型模仿人类虚假信息的程度 来源：[https://openai.com/index/truthfulqa/](https://openai.com/index/truthfulqa/) ## 摘要 我们提出了一个基准来衡量语言模型在生成问题答案时是否真实。该基准包含817个问题，跨越38个类别，包括卫生、法律、金融和政治。我们精心设计了一些问题，其中一些人会因为错误的信念或误解而错误地回答。要表现良好，模型必须