human-eval

本研究引入了针对推理轨迹的章节感知压缩，训练模型舍弃填充性叙述，同时保留计算和验证片段，在比原始推理少用2-3倍词元的情况下，达到或超越原始准确率。

一位研究人员让小型语言模型在自己生成的编程错误和修正上进行训练，在HumanEval上达到80%，并在数学上超越GPT-3.5，展示了在极少资源下的有效自我改进。