seq2seq

本文介绍了互补动作建模（CAM）任务，该任务通过修改动作短语并保持上下文不变，来识别或生成汽车维修指令的程序性对应物。作者使用一个德国汽车数据集，通过候选匹配和受控序列到序列生成来研究这些互补指令的建模。

MathFormer 是一个小型 seq2seq 模型，在符号数学任务上实现了约 98.6% 的准确率，这表明 LLM 中的数学推理可能是一种大规模的结构化模式补全，而非真正的推理。

本文将组相对策略优化（GRPO）应用于编码器-解码器Seq2Seq模型，用于机器翻译微调，使用无需并行数据的无参考奖励（LaBSE和COMET-Kiwi），并在13种语言上取得了一致的改进。