看似完整并不等于有据可依：以人类撰写的态势报告为基准评估大语言模型生成的态势报告

Hugging Face Daily Papers 论文
llm-evaluation crisis-reporting situation-reports llm-judges provenance content-analysis

摘要

本文通过 LLM 辅助的内容分析，从专业人道主义情况报告中推导出 15 槽信息架构，并评估了 121 份人类报告和 261 份 LLM 生成报告，发现 LLM 生成的危机报告在部分指标上媲美人类，但无法提供专业出处且仅复现少量官方数据，自动评分指标（如 ROUGE-L、BERTScore）与报告完整性关联不佳。

对自动危机报告的评估应衡量从业者所需的信息，而非便于比较的内容。我们通过大语言模型辅助、经作者认可的定性内容分析，从专业人道主义形势报告中提炼出一个包含15个信息槽位的模式，随后评估了涵盖五场灾害、三类灾害类型的121份人工报告和261份大语言模型生成报告。在使用 google/gemini-3.7-flash 评估气旋伊代的报告时，表现最好的机器组在数值上高于人工报告的实测上限（0.827 对 0.821），但这一差异在统计上与零无显著区别（95\% 自助法置信区间 [-.049,.059]；置换检验 p=.852），且这一排序在使用 openai/gpt-5.6-luna 时未能复现。在包含100个条目的伊代盲评样本中，作者与 Gemini 评审的一致准确率为0.910，未加权 Cohen's κ=.799。四个评审均达到了方案规定的原始一致率 .7 标准；只有 Gemini 在经机会校正的 κ 上达到了 .7。在三个主要事件中，机器报告复现了当日官方数据的5.4-11.0%。在这些相同事件中，原始精确数字匹配将14.3-19.6%的官方数据和85.4-90.1%的机器数据关联到社交媒体信息流；人工审查从语义上确认了50项声称缺失的数据中的45项、25项官方数据匹配中的4项，以及25项机器数据匹配中的24项。在全部12个已观测的事件—评审组合中，发布来源信息的覆盖差距均为正：没有任何一个组合在报告日期、组织、系列和权威来源方面达到专业报告的覆盖水平。在三个主要事件中，ROUGE-L 不具信息价值，BERTScore 在多重比较校正后与完整性呈负相关，而通用大语言模型评审的关联方向则发生了反转。
查看原文
查看缓存全文

缓存时间: 2026/10/15 23:00

论文页面 - 看起来完整并不等于有据可依：对照人工撰写的情况报告评估 LLM 情况报告

来源：https://huggingface.co/papers/2610.18762

摘要

LLM 生成的危机报告在某些指标上达到人类水平，但未能提供专业的来源信息，也很少复现官方数据，而常用的自动评分难以反映完整性。

自动危机报告的评估应衡量从业者的实际需求，而不是便于比较的内容。通过 LLM (https://huggingface.co/papers?q=LLM) 辅助、经作者认可的内容分析 (https://huggingface.co/papers?q=content%20analysis)，我们采用定性内容分析 (https://huggingface.co/papers?q=content%20analysis)，从专业人道主义情况报告中提炼出一个包含 15 个槽位的信息模式 (https://huggingface.co/papers?q=information%20schema)，随后评估了涵盖五场灾害、三种灾害类型的 121 份人工报告和 261 份 LLM (https://huggingface.co/papers?q=LLM) 生成的报告。在使用 google/gemini-3.7-flash 评估气旋伊代时，表现最好的机器实验组在名义上高于实测人类上限 (0.827 对 0.821)，但这一差异在统计上与零无法区分 (95\% 自助法置信区间 (https://huggingface.co/papers?q=bootstrap%20CI) [-.049,.059]；置换检验 p=.852)，且这一排序未能在 openai/gpt-5.6-luna 下复现。在包含 100 个条目的伊代盲评样本上，作者与 Gemini 评判器的一致准确率为 0.910，未加权 Cohen’s κ=.799。四个评判器均达到评估方案规定的原始一致率 .7 标准；只有 Gemini 在经机会校正的 κ 上达到 .7。在三个主要事件中，机器报告复现了同日官方数据的 5.4-11.0%。在这些相同事件中，原始精确数值匹配将 14.3-19.6% 的官方数据和 85.4-90.1% 的机器数据关联到社交媒体信息流；人工审核从语义层面确认了 45/50 项判定为缺失的内容、4/25 项官方数据匹配和 24/25 项机器数据匹配。在全部 12 个已观测的事件与评判器组合中，发布来源信息的差距均为正：没有任何组合在报告日期、组织、系列及发布权威机构方面达到专业报告的覆盖水平。在三个主要事件中，ROUGE-L (https://huggingface.co/papers?q=ROUGE-L) 不具参考价值，BERTScore (https://huggingface.co/papers?q=BERTScore) 在多重比较校正后与完整性呈负相关，而通用 LLM (https://huggingface.co/papers?q=LLM) 评判器的相关性方向发生变化。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18762)查看 PDF (https://arxiv.org/pdf/2610.18762)GitHub0 (https://github.com/techsachinkr/llm-sitrep-evaluation)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18762)

在你的智能体中获取这篇论文：

hf papers read 2610\.18762

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.18762，即可从本页面链接到该模型。

引用这篇论文的数据集1

techsachin/crisis-sitrep-eval 查看器• 更新于约 23 小时前 • 97.1k • 84 (https://huggingface.co/datasets/techsachin/crisis-sitrep-eval)

引用这篇论文的 Spaces0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18762，即可从本页面链接到该 Space。

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。

相似文章

Review Arcade：论LLM评审的人类对齐与可游戏性

Hugging Face Daily Papers

本文利用1000份真实的ACL 2025投稿，研究了LLM生成的评审与人类判断的对齐情况。研究发现，两者的一致性有限，且在不同模型和提示词下存在不稳定性。此外，文章提出了一种无需实质性修改即可人为提高评分的方法。作者建议不应仅依赖LLM评审，并呼吁就其在应对日益增长的投稿量中的作用展开讨论。

超越二元标签：基于提示级评分标准的大语言模型安全性诊断评估

arXiv cs.CL

该论文提出 DiagSafe 诊断式评估框架，用提示级评分标准替代二元安全标签，构建了中英双语、基于 84 类安全分类体系的基准，使大语言模型评判与人工标注的一致性达到 95.34%（科恩 κ 系数为 0.864），并揭示了主流模型在中文与多轮对话场景下的独特漏洞。

让一个 LLM 评审从垃圾水平提升到与人类判断 30 次中 27 次一致——现场、在会议上做到

Reddit r/AI_Agents

> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。

大语言模型回答了问题吗？用于越狱评估的语义重构游戏

arXiv cs.LG

该论文提出了一种名为"语义重构博弈"的免训练评估方法，用于更准确地评估 LLM 越狱攻击的成功率（ASR）。研究发现仅更换评判 LLM 就可导致 ASR 报告值相差高达 82 个百分点，而新方法通过将合规性判断分解为受限语义比较，显著降低了相对于人工标注的平均误差。