标签
本文发现，更大的语言模型存在一种隐藏的自回归风险机制，在该机制下，模型会承诺低概率词元，进而导致错误滚雪球式增长，使得可靠性随规模扩大而更快下降。研究表明，这种故障模式是因果性的、主导性的，并且对模型自身的自我监控不可见。