llm-harnesses

本文提出了一种受控的评估框架，在 MATH-500 上将 LLM 生成的调优框架的答案覆盖面与可重复的任务专业化程度分离开来，发现额外的覆盖面主要来自同一程序的重复执行，而非真正的专业化提升。

论文介绍了Meta-Harness系统，该系统将LLM套件设计视为针对准确性、安全性和令牌成本的多目标搜索问题，并利用具备完全文件系统访问权的智能提议者实现了卓越的性能。

关于LLM harnesses的一种观点，追溯其起源至早期多步骤工具使用研究（如HotPotQA和GoldEn），并包含Christopher Potts对“仅靠LLM是否足够”这一争论的评论。