标签
一篇实操指南，介绍如何利用真实的 Reddit 讨论串构建一个小型测试集，检验大语言模型（LLM）在回答真实世界问题时是否保留了隐藏的约束条件（隐私、仅限离线、安装限制等）。作者提出了一种基于答案要点（answer key）的工作流：将违反约束计为失败，并把听起来有说服力的行文与正确性区分开来。
提出了一种用于施工文档约束检查的基于证据的流水线，评估了在专家参考任务中PDF证据分配的分辨率-广度权衡。