hybrid-method

介绍了 Speculative Refinement (SpecRef)，一种无需训练的混合解码策略，它通过熵引导的选择性掩码，从自回归草稿中热启动掩码扩散语言模型。在六个基准测试上的评估表明，代码基准测试混淆了结构发现与逻辑正确性，识别出了一种精炼张力现象，并显示评估协议可能产生不同的模型排名。

Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。