dataset-audit

AI4Fire 评估六大核心大模型在五项野火管理任务上的零样本表现，涵盖裸输入与任务特定 grounding 两种设置，发现 grounding 仅在补充信息直接包含答案时有效（如 SQL 工具将准确率从≤16%提升至≥88%），简单规则常胜过模型，且多个公开数据集存在标签缺陷可能虚高评分。

The paper audits the widely used ISOT/Kaggle fake news corpus, revealing that high accuracy in text classifiers stems from shortcut learning via metadata and style signals rather than genuine veracity assessment.