AI在斯坦福法学院研究中胜过法学教授

# 斯坦福法学院研究显示AI表现优于法学教授 | Stanford Law School 来源：https://law.stanford.edu/press/ai-outperforms-law-professors-in-stanford-law-study/ 斯坦福法学院教授Julian Nyarko（https://law.stanford.edu/julian-nyarko/）主导的一项突破性研究揭示，法学教授们压倒性地偏爱AI生成的答案，而非同行讲师撰写的回复——这一发现可能重塑法律教育的交付方式。 这项研究题为“法学教授更偏爱AI而非同行答案”，与全美16位法学教授合作，测试了大语言模型是否能有效担任合同法课程的导师。在近3000个匿名对比的盲评中，教授们对AI回答的评价显著高于其他教授撰写的答案，AI在正面交锋中获胜率达75%。 “这项研究挑战了关于AI在法律教育中角色的重要假设，”Nyarko表示，他领导斯坦福法学院的“前沿技术法律创新实验室”（https://law.stanford.edu/liftlab/），简称liftlab。他与来自耶鲁大学、纽约大学、芝加哥大学及其他顶尖机构的同事合著了这篇论文。“我们选择法律领域，正是因为法律要求判断力、细致推理和驾驭模糊性的能力——而不仅仅是事实回忆。” #### 大语言模型能否推理？ 这项研究尤为引人注目，因为以往AI评估主要集中在有明确对错答案的学科上。相比之下，法律推理要求仔细分析相互竞争的论点并得出可辩护的结论。 斯坦福法学院教授 Julian Nyarko “坦率地说，我们对结果的规模感到惊讶，”Nyarko补充道，“这些不是只有简单答案的简单问题。很多问题需要综合复杂材料、将其应用于新情境，并以帮助学生培养自身分析技能的方式解释法律概念。” 参与者提出了40个学生在课后或办公时间可能提出的代表性合同法问题，撰写了他们自己的答案，然后对回答进行评估，但不知道答案来自AI还是其他参与教授。AI系统的表现与研究中最优秀的人类导师相当。 或许最引人注目的是：教授们仅3.5%的时间认为AI回答对教学有害，而同行撰写的答案这一比例为12%。 “在大多数测试AI的领域，都存在一个正确答案。而在法律领域，往往没有，”合著者、耶鲁法学院教授Sarath Sanga说，“两个对立的论点都可以很好。我们想知道的是，AI能否达到律师评估彼此论点时所使用的隐含专业标准。在这种情况下，答案是肯定的。” 研究团队采取了广泛的预防措施以确保研究的有效性。他们调整AI回答的长度和结构以匹配人类答案，使用多种评估方法，并让教授评估回答是否可能误导或困惑学生。 #### 变革法律教育 “我们设计这项研究时尽可能严谨，因为利害关系如此重大，”Nyarko解释道，“法律教育旨在训练未来的律师批判性思考、有说服力地论证，并驾驭伦理复杂性。我们的研究迈出了重要一步，以查明AI能否支持这一使命。” 研究第一作者、Nyarko的liftlab研究员Alejandro Salinas（https://www.asalinasdl.com/）强调了教育意义：“我们的研究将注意力转向AI辅导在判断密集型领域（如法律）的学习中能贡献什么。我们发现，当由法律教育者评估时，AI导师可以提供高质量、按需支持，补充课堂教学，并可能拓宽获得专家指导的途径。” 由发光书本和技术电路板可视化的人工智能与数字教育。概念：AI学习、在线知识、智能数据与教育创新。矢量插图。 该研究还考察了特定AI模型，包括商业辅导系统和Google的NotebookLM，发现性能有所差异。然而，即使上下文限制影响了AI回答，教授们仍然经常偏好它们而非人类撰写的替代品。 这些发现正值全美法学院努力将AI工具融入法律教育，同时维持严格的学术标准之际。一些机构已拥抱AI实验，而其他机构则对潜在风险（包括幻觉、过度依赖和批判性思维能力的侵蚀）持谨慎态度。 “我们的研究评估了AI工具提供回答的质量。但如何实施这些工具以最有效地改善学生学习，仍是一个开放性问题。因此，我们并不主张全盘采用AI导师，”Nyarko警告道，“但我们的数据表明，全盘怀疑同样可能没有根据。对话应从AI能否提供准确、高质量的回应，转向我们如何负责任地部署它以惠及学生。” 查看出版物（https://law.stanford.edu/publications/law-professors-prefer-ai-over-peer-answers/） 链接至SSRN（https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6849678） #### 关于 liftlab Liftlab 是法律AI领域首批将研究、原型制作和与行业实时协作结合起来的学术努力之一。其使命是通过利用AI及其他前沿技术，增加私营部门获得高质量法律服务的机会。为弥合理论与实践之间的差距，liftlab的工作超越概念化，涵盖构建有助于探索基于AI解决方案效用的原型。 #### 关于 Stanford Law School Stanford Law School 是全球领先的法律学术与教育机构之一。其校友是法律、政治、商业和高科技领域最具影响力的决策者之一。教职员工在最高法院进行辩论、在国会作证、产出杰出的法律学术与实证分析，并经常以法律与政策专家的身份为国家媒体供稿。Stanford Law School 建立了法律教育模式，提供严格的跨学科训练、实践经验、全球视野以及对公共服务的关注。