论文页面 - AMLworld-Compact：用于经济高效的 LLM 评估和错误诊断的重要性加权下采样

来源：https://huggingface.co/papers/2610.13627

摘要

在AMLworld最小的测试划分上评估大型语言模型(LLM)成本高昂，因为超过一百万个目标中的每一个都需要单独的图提示词.采样可以降低这一成本，但小规模的平衡子集会改变未加权的精确率和F1.我们提出AMLworld-Compact，这是一个保留所有非法测试交易、并从基于监督学习评分的分层中抽取正常交易的评估集.其HT-Coreset协议将HI-Small和LI-Small上的评估目标数量分别缩减至原来的1/271和1/611.对于固定的预测结果，Horvitz-Thompson权重可提供完整测试集混淆计数的无偏估计；召回率是精确值，而精确率和F1则是比率估计值.在一项使用GraphFeaturePreprocessor(GFP)特征的留出研究中，一个提升树模型家族定义分层，用于评估另一个模型家族，每种配置进行500次抽样.在已发布的规模下，F1的均方根误差为0.00-2.58个百分点，而采用HT权重的均匀采样为4.44-7.41个百分点；保守区间仍然较宽.在所评估的图提示词下，七个开放权重LLM的加权精确率接近将所有交易均预测为非法的基线.在一项按结果分层的审计中，我们检查了每个模型单次运行产生的共1,000条HI-Small少样本输出；正确二元判定的词汇检查通过率为84.5%，错误二元判定的通过率为56.2%，因此这些标记不能证明正确性.我们在https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval和https://github.com/nat-nischw/AMLworld-Compact发布评估集、构建代码和审计工具.

查看 arXiv 页面 (https://arxiv.org/abs/2610.13627)查看 PDF (https://arxiv.org/pdf/2610.13627)GitHub0 (https://github.com/nat-nischw/AMLworld-Compact)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.13627)

在你的智能体中获取这篇论文：

hf papers read 2610\.13627

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.13627，即可从此页面关联该模型.

引用这篇论文的数据集1

typhoon-ai/AMLworldCompactEval 查看器• 更新于27分钟前 • 6.02k • 597 (https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval)

引用这篇论文的 Spaces0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13627，即可从此页面关联该 Space.

包含这篇论文的收藏集0

没有包含这篇论文的收藏集

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面关联该收藏集.