sparse-supervision

提出了CodeBlock，一种用于代码大语言模型监督微调的结构感知稀疏监督框架。它选择高质量的指令-响应对，并将代码响应划分为语法连贯的编码项，仅对选中的项应用损失，从而在使用仅1.9%的监督响应令牌的情况下实现更强的pass@1率。