hyperparameter-tuning

一种利用贝叶斯概率上下文无关文法生成结构上类似物理方程的合成回归数据集的方法，该方法已在费曼语料库上得到验证，并证明对超参数调优有效。

一位用户发现，将学习率从2e-4降低到1e-4显著改善了Llama 3.1 8B在小型数据集（8k样本）上的QLoRA微调效果，防止了过拟合，并获得了更好的评估结果。

本文介绍了 AutoLLMResearch，这是一个智能体框架，旨在通过在低保真环境中学习并外推至高成本设置，实现昂贵的大型语言模型（LLM）实验配置的自动化。其目标是减少可扩展 LLM 研究中的计算浪费以及对专家直觉的依赖。