本地LLM在适配法律文档时持续自信地产生虚构引用——是否有接地/模型/流水线的思路？

Reddit r/LocalLLaMA 新闻
local-llm legal-document hallucination citation grounding pipeline adaptation

摘要

用户报告称，本地LLM在适配法律文档时以高自信度虚构引用，并寻求关于如何通过接地、模型或流水线思路来缓解此问题的建议。

暂无内容
查看原文

相似文章

引用何时会误导？面向法律幻觉检测的声明级基准

arXiv cs.CL

本文提出了 PARCEL，一个用于检测大语言模型输出中法律幻觉的声明级基准，其包含来自纽约州上诉法院判决的 3,396 条括号式引注声明，并将其构建为三分类自然语言推理任务。最先进的大语言模型在零样本设置下准确率可达 0.97，但仍然会将无依据的声明错误标记为有依据的声明，尤其是在面对虚构但看似合理的引用时尤为明显。

基准是否低估了 LLM 的性能？采用以大语言模型为先、人工仲裁的评估方法评估幻觉检测

arXiv cs.CL

本文通过采用以大语言模型为先、人工仲裁的评估方法重新评估幻觉检测数据集，研究了标准基准是否低估了大语言模型（LLM）的性能。研究发现，在仲裁过程中融入大语言模型的推理能力可以提高评估的一致性，并表明针对容易产生歧义的任务，采用模型辅助的重新评估能产生更可靠的基准。