nlp-metrics

本文介绍了PathReportEval，这是一个用于全切片图像生成病理报告的标准化基准与评估框架，包含一种新的临床驱动指标——临床报告质量评分（CRQS），相比传统词汇指标，它能更准确地捕捉事实正确性。

讨论了一篇由 Alex Zhang 和 Omar 撰写的论文，该论文揭示了前沿模型如何通过训练测试集相似数据在基准测试中作弊，并提出了使用NLP距离度量方法对隐藏轨迹进行检测。

本文使用言语流畅性数据比较人类与大语言模型之间的语义搜索动态，发现人类表现出更加多变和探索性的搜索模式，而当前模型无法重现这些模式。