真实场景中的法律咨询：用户如何在实际 LLM 对话中寻求法律帮助

Hugging Face Daily Papers 论文
legal-ai llm-conversations wildchat dataset taxonomy classification nlp

摘要

该论文研究了用户如何在真实世界的 LLM 对话中寻求法律指导，提出了一个分类体系，对 2,122 条 WildChat 对话进行了标注，并发布了包含 200 条对话的评测集、训练好的分类器以及公开资源。

人们会向对话式 AI 模型咨询自身的法律权利、义务、程序以及可能产生法律后果的个人情况。为了研究这一行为，我们首先需要将法律指导请求与其他法律主题的讨论以及无关对话区分开来。我们提出了一个多维度的法律查询分类体系，涵盖是否在寻求法律指导、请求如何表述以及涉及哪些法律领域；将其应用于 2,122 条自然发生的 WildChat-1M 对话；并创建了一个人工审核的 200 条对话的黄金评测集。所有标注数据、模型检查点和评测代码均已公开。在这个增强样本中，包含法律内容的对话中有 71.1% 在寻求个性化或实用性的指导。在包含法律内容的对话中，权利与选项建议是最常见的主要请求类型，25.3% 的含指导请求对话涉及多个法律主题。黄金评测集支持对 ModernBERT-base 和 ModernBERT-large 与 TF-IDF 级联模型进行两阶段对比评估。我们的框架支持对对话式 AI 中法律指导行为的大规模研究，标注数据的公开发布有助于可复现研究和未来的模型开发。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:05

论文页面 - 真实世界中的法律咨询：用户如何在实际 LLM 对话中寻求法律帮助

来源：https://huggingface.co/papers/2610.25159

我们研究了人们在真实世界的 LLM 对话中如何寻求法律帮助。我们构建了一个分类体系，标注了 2,122 段 WildChat 对话，并发布了包含 200 段对话的人工审核评估集。我们还训练并评估了更小的分类器，用于检测寻求法律咨询的请求并对其法律主题进行分类。

数据集、模型检查点和评估代码均已公开。我们希望这些资源能够支持对话式 AI 中法律咨询寻求行为的进一步研究。

欢迎讨论这项工作，期待听到您的想法！

相似文章

采用 $\neq$ 适应：野外LLM对话的纵向分析

arXiv cs.AI

本文分析了必应Copilot用户的纵向对话轨迹，并与WildChat数据进行比较，发现个体用户习惯具有粘性，且WildChat过度代表了高级用户，挑战了用户与LLM互动的静态观点。

DLawBench：通过多轮法律咨询评估大语言模型

arXiv cs.CL

DLawBench是一个新的基准测试，用于评估大语言模型在多轮法律咨询中的表现，涵盖中国和美国法律，包含四种客户类型。实验表明仍有很大改进空间，最佳模型在法律推理上仅达到0.562。

LegalWorld：法律智能体的生命周期交互环境

arXiv cs.CL

LegalWorld是一个生命周期交互环境，将中国民事诉讼建模为跨越五个阶段的因果关联状态链，并与LongJud-Bench配合，用于评估法律智能体在整个过程中的表现。