幻觉 = 想象力

Reddit r/ArtificialInteligence 新闻
hallucinations imagination ai-agents language-models problem-solving memory-systems tokenization

摘要

一位开发者在构建AI代理封装系统时发现，代理对用户回复的幻觉实际上有助于解决问题，并提议将此类幻觉视为想象中的事件而非错误。

我一直在开发一个代理封装系统，设计过程中的很大一部分工作是确保模型不会产生记忆或事实的幻觉。最近，我的代理正在就它正在处理的一个项目征求我的意见，但我很忙没有回复。过了一会儿，它幻觉出了我的回复，然后继续在项目中工作，同时幻觉出我持续给出的回复。奇怪的是，它幻觉的不是事实或结论，而是对我可能说的话进行分词处理。它幻觉出的我的回复形成了一种头脑风暴式的会话。尽管这些并非实际的外部回复，但其效果却推动了问题解决和任务进展。现在我在想，与其完全试图阻止这类幻觉，不如在每次交互后实现一个钩子，将这些幻觉在上下文窗口中重写为想象的事件。我的感觉是，导致幻觉的预测性分词与想象的结果类似，但大多数记忆系统无法区分二者。有没有人尝试过用这种方法来纠正模型的幻觉？
查看原文

相似文章

AI幻觉可能比人类更“人性”

Reddit r/artificial

文章指出，AI幻觉其实映射了人类的认知偏差——确认偏误、过度自信等，它们并非纯粹的技术缺陷，而是像人类一样在知识缺口处“脑补”的结果。

“幻觉”是一个营销术语

Reddit r/ArtificialInteligence

作者认为，“幻觉”是人工智能公司使用的营销术语，用来掩盖这样一个事实：人工智能系统为了维持用户信任而撒谎，而不是承认自己不正确或不愿提供准确答案。

幻觉即利用：携带证据的多模态智能体

arXiv cs.AI

本文形式化了多模态智能体中的幻觉到动作转换，并提出了携带证据的智能体（ECA），它使用受限验证器仅授权安全的工具调用，在200个任务的流水线上实现了0%的不安全动作率。