标签
该论文分析了仓库级编码基准中的过度规范与规范不足问题，指出将真值信息泄露到任务描述会形成"剧透"，并提出生成简洁提示的建议以提升基准的可靠性与持久性。
本文研究了在提示中添加人口统计属性如何影响LLM与人类在不同任务中的一致性，发现少数高信号属性能够提升对齐，但过度指定会降低对齐效果。研究使用五个开源LLM和神经元探测，表明属性信号质量和连贯性比数量更重要。