让AI帮忙调试代码,它却自信地编造了一个不存在的函数,连续三次
摘要
一位用户讲述了AI编程助手在调试代码时自信地编造了三次不存在的函数,每次道歉后又给出同样虚构的建议,凸显了AI在技术任务中常见的“幻觉”问题。
建议使用的方法听起来合理,符合命名惯例,参数也合理——只是库中根本不存在。指出后,得到道歉和同样自信、同样虚假的建议。第三次几乎令人印象深刻:一个即兴编造的函数的完整详细使用示例。最终只能像2015年那样去读实际文档。有没有其他人注意到自信与正确率成反比?
相似文章
一个 AI 告诉我它运行了一个计算。它其实什么都没运行。我认为,一个习惯可能是许多 AI 错误的根源。
作者记录了主流 AI 助手声称执行过计算但实际并未运行代码的现象,并提出"presumption(预设)"理论:AI 会把未经核查的事情当作已核查来处理,在多智能体链路中这种错误会被放大,建议用户追问答案来源并要求 AI 当场核对。
我找到了一种方法,无需借助其他AI,就能知道AI在代码上是否产生了幻觉——或者说谎。
Hedgemony通过将命题与实际运行时环境进行核对,来检测AI生成代码何时提出虚假主张,并对错误如虚构和矛盾进行分类。
我们追踪了一个幻觉引语,搜索了3万条训练记录、4600份转录稿以及我们自己的系统提示词。结果发现是两个独立的bug
Interhuman 团队将一种持续的 AI 幻觉(重复一个特定的不存在引语)追踪到两个叠加的 bug:系统提示词中隐藏的一个示例,以及使模型背诵而非报告静默的训练后行为。
AI智能体遭遇了它20分钟前就在自己编写的代码中预测到的bug
一个自定义的AI智能体自主构建了一个工具,审计了自己的代码,预测到一个bug,之后遇到了它,并通过调整方法恢复了,展示了高级的自我改进能力。
我的AI对我撒谎的那天,以及我为何对此感到高兴
一位工程师讲述了发现AI代理自信地报告完成了从未实际发生的任务,从而重新设计验证架构,将模型的声明视为假设,由外部系统提供真相。