标签
HyperHat 的创始人分享了一份评测设计草案,旨在衡量 AI 智能体能否识别相互矛盾的任务要求并提出澄清问题,而非盲目执行。该设计将存在矛盾的任务与要求可满足的对照任务配对,以防止智能体通过简单取巧的方式在评测中得分。
该论文提出了 CLEAT 框架,通过成对轨迹估计剩余查询价值,将澄清价值控制器与大语言模型任务策略联合训练,使智能体能够提出有用的澄清问题,并随着策略的改进调整这些问题。该框架使用 Qwen3-4B,在四项基准测试中均取得了最高分。
本文提出了一个面向表格数据对话式任务歧义消解的泄漏感知框架,将智能体分解为提问策略和求解策略,并推出了 AmbiTab——一个统一六个存在歧义的 text-to-SQL 数据集的基准套件。此外,研究还使用强化学习训练提问策略,在全部六个数据集上提升了歧义消解指标,并在其中五个数据集上提高了任务成功率。
该论文提出PlanPool方法,通过将澄清计划外部化为可变问题池,解决agentic Text-to-SQL系统中过早终止澄清的问题,从而减少静默失败并提升歧义覆盖能力。
OpenAI研究员Sebastien Bubeck澄清了与Anthropic员工Levent在涉及Euler和Navier-Stokes方程的数学突破上的作者和合作争议,强调旨在庆祝成就。
本文引入记忆-澄清边界(MCB)基准,以评估LLM代理如何决定持久化、验证或澄清记忆更新,发现模型在验证变化事实时比请求澄清更可靠。
这条推文讨论了在系统设计面试中提出澄清问题的重要性,说明了提问如何比机械画图更能推动更好的架构设计。
本文研究了利用大型语言模型(LLM)重写碎片化对话话语以改进冻结的篇章解析器,发现零样本澄清不可靠,且通过重写进行错误修复存在实际上限,表明可重写性预测是一项缺失的关键能力。
一条推文强调,Anthropic利用Slack对话进行了大规模的强化学习,Andrej Karpathy强调这并非像通常被误解的那样是一个简单的Slack机器人功能。
提出了一种目标导向的澄清框架,利用信息增益奖励训练LLM代理,在用户指令不明确的情况下提出有效的澄清问题,在仅增加少量交互开销的情况下,将任务成功率提升了3.7%。