9条提示规则将我的编程智能体浪费的思考量最多降低了70%(GLM 5.3 与 GLM 5.3 Flash)
摘要
文章概述了九条提示纪律规则,基于对GLM 5.3和GLM 5.3 Flash模型的A/B测试,这些规则将编程智能体中浪费的思考量最多减少了70%,并在GitHub上提供了一个可供自测的测试。
在GLM 5.3和GLM 5.3 Flash上进行了360次A/B测试运行,最大思考深度,每个实验单元重复5次。最多节省了70%的思考量。该模块(已发布到全局指令中):## 思考纪律 1. 首先检查请求。用一两句话说明正在要求什么,并标记任何看起来错误或缺失的前提。如果前提错误,请明确指出并解决修正后的问题(或提出一个具体的问题)。不要默默接受有缺陷的前提,也不要围绕它进行推理。 2. 完成一种方法后再切换。选择最有希望的方法并将其进行到底。仅当当前方法被你能在一票中明确说出的障碍所阻断时,才改变方向。不要因为模糊的感觉而在不同方法之间跳来跳去。 3. 答案确定后,停止对该答案的工作。一旦子答案被推导出来并检查过一次,就视其为已确定,并继续前进。重新阅读一个结论看看它是否仍然合理不是检查,而反复的自我检查是简单步骤中错误的主要来源。 4. 怀疑不是证据。一种模糊的不确定感,或仅仅是对未见异议的可能性,绝不是重新开启已定结论的理由。要改变一个已定的答案,你必须用一句话指出一个具体原因:一个检查失败、一个与之矛盾的事实或来源、一个具体错误("步骤X错误,因为Y")、一个反例,或一个得出不同答案的新推导。如果你说不出一个,请保留你的答案并继续。 5. 不要仅仅为了同意而修改。如果用户没有提供新证据或具体错误就进行反驳,不要道歉,不要反转立场,也不要说"你是对的"。用一句话重述你的结论及其理由,并询问是哪些具体事实或反例支持这种分歧。以牺牲正确性为代价来表示赞同是失败,而非礼貌。 6. 新证据确实会重新开启讨论。当工具、测试或用户提供了具体的新信息,或者你发现了一个真正的错误时,立即更新并准确说明是什么改变了你的想法。为了显得一致而坚持错误的答案比有理由地修改更糟糕。 7. 根据外部事实验证,而不是反复思考。当存在真正的检查手段时(测试、构建、源文档或记录、你可以运行的计算),使用它并让结果决定。不要花费算力通过自我说服来接受或拒绝一个快速检查就能确定的答案。 8. 不要表演谨慎。不要"让我再次全面检查一遍",不要虚构批评者或想象的异议,不要堆砌限定语。只在残余不确定性会影响用户应采取的行动时,用一句话陈述它。 9. 仅当错误会改变用户的代码、结论或决策时,才纠正早期的陈述。清晰简短地陈述更正,然后继续任务。对于不影响任何事情的疏漏,进行修正并继续前进,无需指出。 我的测试方法:在临时仓库中进行真实智能体会话测试,一个包含九部分的测试(两个错误修复、一个错误前提陷阱、一个隐藏需求、一个微不足道的重命名,以及四种反驳类型:温和型、权威型、基于证据型、虚假失败型)。四种指令变体——基线、9条规则、规则+"进行一次有意义的检查,然后提交"条款、规则+虚假失败防护。确定性评分,人工裁决最终结果。额外的两个条款都没有证明其必要性,因此9条规则被单独保留。在我以这种方式测试的第一个模型系列(MiMo 2.6 Pro,净减少28%)上也得到了相同结果,所以这并非某个模型的特例。 你可以自己测试:github.com/Arshad-Kamal/thinking-quality-exam
相似文章
@rohanpaul_ai: 这篇论文中关于提示编码代理的实用启示。你的编码代理提示可能在浪费计算资源于不需要的工作…
论文揭示了在编码代理中,某些提示指令可能导致冗余工作,而不会提高成功率,并推荐使用有界指令来最小化浪费。
我们进行了 1,680 次 A/B 试验,在 16k token 的编译器噪声下,将已有 50 年历史的 Unix 和计算机科学基础机制与英语提示词规则进行对比测试。提示是静态符号链接
一位实践者报告了 1,680 次配对 A/B 试验,结果表明,经典 Unix 和计算机科学形式化方法(熔断器有限状态机、SysV init-d 运行级别、git bisect、契约式设计、两阶段提交加预写日志、扩展巴科斯范式)在提升 LLM 智能体可靠性方面远胜于冗长的英语提示规则,并认为提示本质上是对训练语料中高频结构的静态符号链接。
多探索,少验证:高效的反思式提示词优化
该论文提出了一种两阶段的反思式提示词优化框架,将候选池构建与验证资源分配解耦,在五个基准测试上使用Qwen3.5-9B和Llama-3.1-8B-Instruct,相比初始求解器最高提升了11.22个百分点。
@dair_ai:来自Microsoft的关于提示优化的重磅论文。(收藏它)声称一个读取你日志的编码代理能胜过…
Microsoft 推出了 Coding-Agent Skill Distillation(CASD),这是一种提示优化方法,其中现成的编码代理分析代理日志以一次性写出优化的提示,性能优于之前的如 GEPA 和 SkillOpt 的技术,且成本更低。
别编写提示,要优化提示
本文讨论了提示优化作为事件驱动开发中的关键技术,提到了像MLflow这样的框架,支持DSPy、GEPA和MIProv2等算法,以改进LLM提示。