标签
介绍了一种无需人工筛选的指标(Triangulated Preference Shift),用于隔离和量化LLM在偏好学习过程中诱导的词汇偏见,无需手动筛选,覆盖六个模型家族。
本文提出高熵总和(HES),这是一种无需训练的度量方法,用于为LLM训练选择高质量推理数据,并在SFT、RFT和RL等范式中得到验证。
本文介绍了Spectral Energy Centroid (SEC) 度量,用于分析与改进隐式神经表示中的频谱偏差,展示了其在超参数选择、信号复杂度测量和跨架构对齐中的实用性。