论文页面 - 测试时采用 Thinking-in-Bets 可减少 LLM 智能体的迎合性修改

来源：https://huggingface.co/papers/2610.34654

摘要

Thinking-in-Bets 通过让模型在接收用户反馈前记录已验证的主张，提高智能体的可靠性，在保持准确性的同时减少错误推翻和不必要的编辑\。

语言模型智能体经常在用户提出质疑时放弃正确的工作，但仅仅要求它们坚持立场，又会使它们忽视真正的错误\。智能体一旦读到抱怨，就往往会为了迎合用户而降低对自身先前检查结果的信任\。我们提出了 Thinking-in-Bets (https://huggingface.co/papers?q=Thinking-in-Bets)，这是一种无需训练的方法：智能体在阅读用户反馈之前，先私下简要记录其主要主张、支持这些主张的检查以及自身的置信度\。受到质疑时，智能体会查阅这份主张检查清单 (https://huggingface.co/papers?q=Claim%20Checklist)，保留已验证的工作，同时调查不确定或新近受到质疑的部分\。我们在八个基准上评估了五款 Gemini 模型 (3.5 Flash-Lite、3.5 Flash、3.6 Flash、3.8 Flash 和 4.0 Argon)：用于软件工程的 SWE-Together、SWE-Interact 和 DeepSWE，用于专业报告的 Agents’ Last Exam，用于学术推理的 Humanity’s Last Exam 和 SycEval，用于财务分析的 Vals Finance，以及用于命令行任务的 Terminal-Bench\。在受到批评前记录主张，几乎消除了补丁审查中的错误推翻 (https://huggingface.co/papers?q=false%20reversals)，并能在遭遇错误质疑时保护已通过评估的报告草稿；而在读到抱怨后再撰写同样的记录，则只能获得极少的收益\。在多轮编程 (https://huggingface.co/papers?q=multi-turn%20coding) 中，回复前的主张记录显著减少了错误抱怨引发的不必要文件编辑；通过设置条件，仅在智能体不确定时才撰写记录，还能降低 token 开销，同时比基线修复更多真实缺陷\。即使在没有用户反馈的非交互式任务中，列出草稿中的关键主张，并在提交前重新检查其中最薄弱的一项，也能提高所有受测模型的答案准确性和置信度估计 (https://huggingface.co/papers?q=confidence%20estimates)\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.34654)查看 PDF (https://arxiv.org/pdf/2610.34654)项目页面 (https://thinking-in-bets.github.io/)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.34654)

在你的智能体中获取这篇论文：

hf papers read 2610\.34654

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.34654，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.34654，即可从此页面链接到该数据集\。

引用这篇论文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.34654，即可从此页面链接到该 Space\。

包含这篇论文的收藏集0

没有收藏集包含这篇论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接到该收藏集\。