标签
本文提出联合语音-文本交错预训练（JSTIP），这是一种预训练策略，通过构建词级和段级交错的语音-文本序列来提高ASR实体准确率并缩小语音与文本之间的模态差距，在领域自适应和零样本语音问答上展示了有竞争力的性能。
Chronicle 是一个 324M 参数的纯解码器 Transformer，从零开始在自然语言和时间序列上预训练，在 NLU 和时间序列分类任务上取得了有竞争力的性能，并在 UCR/UEA 数据集上的冻结嵌入时间序列分类中创造了新的最先进水平。
本文介绍了ICRL框架，该框架联合训练求解器和批判器，通过强化学习内化批判指导，使求解器无需外部批判即可自我改进。它使用分布校准和角色分组优势估计，在智能体和数学推理任务上比GRPO提高了6-7个点。