我们一直在分析人们如何在法律与合规任务中使用LLM（GDPR、AI法案等）。
摘要
对LLM在法律与合规任务中使用的分析显示，模型常常生成自信但无法验证的引用，引发了对AI输出可靠法律依据的质疑。
有一个问题反复出现：模型常常给出非常自信的法律答案，但引用的来源要么缺失、要么过时，要么无法追溯到官方整合来源。即使引用了某些内容，也不总是清楚它是否反映法律的当前版本。我很好奇其他人实际中是如何处理的：每次都依赖人工验证？还是已经有团队找到了解决AI输出“可验证法律依据”问题的可靠方法？
相似文章
大语言模型能否进行具有法律意义的推理？基于欧洲人权法院案例的小规模研究
本小规模研究通过欧洲人权法院案例评估了大语言模型在法律案件预测中的推理能力，发现模型能够生成结构完整但实质浅薄的分析，且基于大语言模型的评估器与人类标注者的一致性较低。
形式化方法遇上大语言模型：面向先进AI系统合规性的审计、监控与干预
本文提出了一种将形式化方法（线性时序逻辑）与大语言模型相结合的技术，用于审计、监控和干预AI系统以确保其符合行为约束。研究表明，即便是小模型标注器在检测违规行为方面也能媲美前沿大语言模型裁判。
公司用于LLM的训练数据枯竭问题后来怎么样了？
本文重新审视了之前关于人类生成的LLM训练数据将会用尽的担忧，并提出疑问：在AI模型持续改进的情况下，这个问题是否已经解决，或者仍然是一个待解决的问题。
使用LLMs
这篇文章反思了身边的人对LLMs如ChatGPT的有限使用和理解，引发了关于AI工具广泛采用的疑问。
LLMs 何时真正有效？评估 LLMs 作为数据质量标注器
本研究评估了 LLMs 在电子商务任务中作为数据质量标注器的表现，发现当需要背景知识时，它们优于基线方法，但对于具有强烈词汇信号的任务优势有限，同时展示了跨运行的高度一致性。