标签
本文介绍了 Wiggle 框架，这是一种针对 LLM 裁判认识论稳定性的统一压力测试，涵盖 14 项任务，衡量机械一致性、单轮信念与多轮持久性。研究发现，所有 9 个受研究的前沿模型在压力下都会大幅翻转判决，且成功的压力通常相对于基准真相而言具有净破坏性。
ProofGrid是一个基准测试套件，通过使用极小形式化符号的机器可验证证明来评估LLM推理，包含证明编写、检查与补全任务，揭示了进展与尚存局限，包括认知不稳定性。