auc-evaluation

#auc-evaluation

一个学习的LLM路由器得分为0.84 AUC。在每个任务内打乱标签后，得分仍为0.838 [R]

Reddit r/MachineLearning ↗ · 3天前

一项研究发现，一个训练用于在模型之间进行选择的LLM路由器学会了任务识别而非难度评估，导致在保留任务上泛化能力差，但基于廉价模型输出的延迟策略带来了更好的性能。

0 人收藏 0 人点赞