onnxruntime

本文提出了一项系统研究，比较了RLHF流程中用于奖励模型评分的C++和PyTorch推理运行时，发现ONNXRuntime在CPU上提供加速，而torch.compile在GPU上领先，且批处理策略比语言或运行时选择更为重要。