标签
本文证明了不可能性定理，表明由于因果掩码（causal masking）约束，首要效应（primacy effects）、锚定效应（anchoring）和顺序依赖性（order-dependence）是自回归语言模型中架构上必然存在的偏差。作者跨越12种前沿大语言模型验证了这些理论界限，并通过涉及工作记忆负荷的预注册人类实验证实了相关预测。
该帖子探讨了科技和学术界等以智力为核心的领域中，高智商专家与中智商通才之间的动态关系，并引用 Marc Andreessen 的观点，指出人们可能高估了原始智力。
本文提出了一种通过基于大型语言模型（LLM）对标注者可靠性的评估来动态调整理性度参数，从而缓解人类反馈强化学习（RLHF）中认知偏差的方法。
本文研究了为大语言模型赋予角色是否会引发类似人类的动机推理，发现赋予角色的大语言模型真实性辨别能力最多下降9%，并且以与其诱导的政治身份一致的方式评估科学证据的可能性最多增加90%，而基于提示的去偏见方法基本无效。