measurement-validity

标签

Cards List
#measurement-validity

换一个裁判,分数就变了:审计大模型作为裁判的可靠性

arXiv cs.CL · 2026-07-10 缓存

本文审计了大模型作为裁判(LLM-as-judge)评估的可靠性,表明即使候选回复固定不变,更换评估模型也可能改变评分。论文考察了Qwen3和MiniMax模型的扩展与升级路径,得出结论:裁判升级不可互换,并提出了最佳报告实践。

0 人收藏 0 人点赞
#measurement-validity

At-Grok尚未收敛:Grokking表示指标的测量效度审计

arXiv cs.LG · 2026-07-09 缓存

本文审计了grokking中表示指标的测量效度,表明grokking过渡期的值高估了收敛后的电路复杂度,且压缩滞后于泛化。它提供了将onset与压缩分开的工具,并报告了关于一般性的负面结果。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈