标签
本文讨论了使基于LLM的代理更具确定性的各种技术，例如黄金数据集、护栏、共识机制、回归测试、编码逻辑和超参数调优，并询问其他成功的方法。
本文提出使用LangGraph中的有状态ReAct智能体取代无状态自动研究模式，将每次迭代的令牌成本从O(n)降低至O(1)，在超参数调优和代码优化基准测试中实现了52-90%的令牌减少。
一种利用贝叶斯概率上下文无关文法生成结构上类似物理方程的合成回归数据集的方法，该方法已在费曼语料库上得到验证，并证明对超参数调优有效。
一位用户发现，将学习率从2e-4降低到1e-4显著改善了Llama 3.1 8B在小型数据集（8k样本）上的QLoRA微调效果，防止了过拟合，并获得了更好的评估结果。
本文介绍了 AutoLLMResearch，这是一个智能体框架，旨在通过在低保真环境中学习并外推至高成本设置，实现昂贵的大型语言模型（LLM）实验配置的自动化。其目标是减少可扩展 LLM 研究中的计算浪费以及对专家直觉的依赖。