token-weighting

标签

Cards List
#token-weighting

基于注意力机制的Token加权直接偏好优化

arXiv cs.CL · 2026-05-22 缓存

提出AttentionPO,一种基于Token加权的直接偏好优化方法,它利用LLM自身的注意力来估计Token权重,在AlpacaEval、MT-Bench和ArenaHard上提升对齐性能,且无需单独奖励模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈