pairwise-comparison

This paper introduces KappaSharp, a method for condition-number shaping in Preferential Bayesian Optimization that corrects the ill-conditioned Hessian from isolated pairwise comparisons, showing up to +10.9% improvement over the standard PairedGP/EUBO baseline on 11 benchmarks including plasma medicine controller tuning.

本文提出了一种可扩展、领域无关的自动化 LLM 评估框架，该框架利用多个 LLM 的成对比较和 Elo 评分系统来近似专家判断，从而减少人工干预的需求。

通过成对比较实验，使用Bradley-Terry模型和Elo评分系统统计确定狗狗最喜欢的零食。

提出了一种提示扰动框架，该框架生成扰动的提示变体，通过图级一致性检查过滤掉结构不一致的比较模式，然后应用标准排名方法产生更可靠的LLM排名。

MIT研究人员在一篇论文中表明，使用三元比较而非两两比较，可以显著提高预测人类偏好的随机效用模型的准确性。