@jakevin7: 分享一个神级review提示词方法论。 LLM 自我纠正的综述 《When Can LLMs Actually Correct Their Own Mistakes?》结论是：如果没有测试结果、工具输出等可靠的外部反馈，模型仅靠自己反思，…

X AI KOLs Following 工具
prompt-engineering llm self-correction review-methodology adversarial-review

摘要

分享了一个基于LLM自我纠正研究的提示词方法论，强调无外部反馈时模型自查效果有限，推荐对抗式审查等逐步增强的提示策略。

分享一个神级review提示词方法论。 LLM 自我纠正的综述 《When Can LLMs Actually Correct Their Own Mistakes?》结论是：如果没有测试结果、工具输出等可靠的外部反馈，模型仅靠自己反思，通常很难稳定纠正错误。 也就是说简单的“让模型检查自己”效果一般很有限。 下面三种提示效果往往逐级递增： ●“Review 一下。” ●“进行对抗式审查。” ●“重点检查 XX 易错面，对抗式审查。” 本质上是人作为指导者，要给Agent提供 额外信息 + 方法论。对抗式审查是Review的方法论 + XX 易错面是额外信息。 这些都能让 Agent 获得新的注意力方向和额外计算预算。
查看原文
查看缓存全文

缓存时间: 2026/08/06 12:42

分享一个神级review提示词方法论。

LLM 自我纠正的综述 《When Can LLMs Actually Correct Their Own Mistakes?》结论是：如果没有测试结果、工具输出等可靠的外部反馈，模型仅靠自己反思，通常很难稳定纠正错误。 也就是说简单的“让模型检查自己”效果一般很有限。

下面三种提示效果往往逐级递增： ●“Review 一下。” ●“进行对抗式审查。” ●“重点检查 XX 易错面，对抗式审查。”

本质上是人作为指导者，要给Agent提供 额外信息 + 方法论。对抗式审查是Review的方法论 + XX 易错面是额外信息。 这些都能让 Agent 获得新的注意力方向和额外计算预算。

相似文章

PAPER2LLM++：基于研究论文的 LLM 持续自我进化

arXiv cs.AI

Paper2LLM++ 提出了一种框架，将日益增长的关于 LLM 失效模式的文献转化为持续自我改进的监督流：一方面验证报告中的局限是否仍然存在，另一方面通过"尝试-评估-提交"流程整合更新，在连续处理研究论文的过程中保留此前已取得的改进成果。

让一个 LLM 评审从垃圾水平提升到与人类判断 30 次中 27 次一致——现场、在会议上做到

Reddit r/AI_Agents

> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。