semantic-reward

提出 Conceptizer 训练框架，通过约 9 千个基于上下文同义词构建的概念词表，在下一词元预测之外增加意义层面的奖励信号，在 Llama 3、Qwen2.5 和 Falcon3（10 亿至 80 亿参数）上改善了困惑度指标与下游知识/情感任务表现。

提出了CSR，一种直接在语义空间中使用新颖的语义校准奖励来校准LLM的框架，在多个数据集上将ECE降低了高达40%，并将AUROC相较于口头化置信度基线提升了高达31%。

本文提出使用基于语义奖励的强化学习（通过GRPO）来将LLM扩展到低资源语言，避免了典型的灾难性遗忘对齐代价，展示了相比监督微调更好的语义质量和迁移性。