标签
本文评估了动态主题模型的传统一致性度量和基于LLM的语义相似度，发现基于LLM的度量通过考虑词汇变化，更好地与人类判断对齐。它提倡使用传统度量和基于LLM的度量相结合的评估方法。
这篇 arXiv 预印本研究形成集成的十六个语言模型的语义离散度，表明平均而言集成多样性较小，且模型身份仅部分解释了哪个模型的差异最大。作者提出了一种逐模型异议贡献度量，并发现离散度由临床内容而非解释开放性所组织。
利用语义相似度和时间切片对1100万篇学术论文进行大规模映射，从而分析研究趋势和关联。
本文介绍并实证评估了使用知识图谱嵌入测量知识图谱间语义相似性的方法，提出了EmbPairSim和AvgEmbSim评分函数，这些函数在WikiText-2和CC-News数据集上优于Sentence-BERT等基线方法。
本文研究了词汇重叠（而非语义内容）如何影响跨层和跨架构的大语言模型表示，并证明即使在为语义相似性训练的模型中，这种词汇效应依然存在，导致下游任务性能下降。
本文提出有界行为不可区分性，一种超越语义相似性的黑盒LLM蒸馏评估形式化框架。在Qwen和Llama模型上的实验表明，蒸馏降低了但并未消除对抗性可区分性，凸显了类别感知评估的必要性。
OmniOPD 提出了一种无Logit的同策略蒸馏方法，利用块级语义相似性和推测验证，在黑盒教师指导下训练学生模型，在数学基准上相比标准OPD实现了高达+28.64%的提升。
PNNL 与华盛顿大学的研究人员提出一套系统化框架，测试五种大语言模型在文档中捕捉细微语义变化的能力，揭示位置偏差、上下文连贯效应及模型特有的评分“指纹”。