@rohanpaul_ai: Meta 与密歇根州立大学新论文发现，LLM 构建的推理图质量差异很大，其错误会传导到置信度中……

X AI KOLs Following 论文
llm reasoning-graphs confidence-estimation question-decomposition evaluation meta qwen3

摘要

一个 Meta 与密歇根州立大学的新论文发现，LLM 构建的推理图质量差异很大，其错误会传导到基于这些图计算出的答案和置信度中；研究测试了 9 个模型，指出图的质量更多取决于模型家族与图结构而非规模。

Meta 与密歇根州立大学的一篇新论文发现，LLM 构建的推理图质量差异很大，其错误会传导到基于这些图计算出的置信度中。许多方法将一个问题拆分为由子问题构成的图，然后在此基础上计算答案或置信度。它们假设 LLM 生成的图是正确的，而这一点几乎从未被验证过。研究在逐渐减少辅助的情况下测试了 9 个模型，从连接给定步骤到自主构建完整推理图。结果显示，图的质量更多取决于模型家族和图结构，而非模型规模；Qwen3-32B 在回答子问题方面甚至不如 Qwen3-8B。如果你的系统依赖 LLM 生成的推理图，请在信任基于该图计算出的答案或置信度之前，先验证图本身的质量。
查看原文

相似文章

大语言模型推理的诊断分析

arXiv cs.CL

该论文提出两阶段诊断评估方法，检验以图结构表示的LLM推理链的结构可靠性，发现图的可靠性随拓扑、提示设计和模型族而变化，且图结构对不确定性估计的校准和节点级诊断有帮助，但作为提示上下文时收益有限。

关于论辩图生成中大语言模型的验证

arXiv cs.CL

本文主张对大语言模型生成的论辩图进行分层验证，将确定性检查、求解器与大语言模型审查相结合。研究表明，大语言模型审查器能较好地检测结构缺陷，但结果不稳定，容易误拒正确的论辩图，且速度慢于精确检查方法。