标签
Whitetree是一个用于低维传感器数据精确马氏距离最近邻搜索的Python库,它使用多个KD树来高效处理插入和删除操作,无需重建。基准测试显示,在动态场景中,它的性能显著优于sklearn的BallTree和FAISS等替代方案。
本文表明,Johnson–Lindenstrauss引理在高维情况下可能对保留的几何结构无法提供信息,并推导了高斯模型中距离恢复、最近邻排序和协方差形状等特性的精确界限。
ASK-NN 是一种非对称最近邻测试,用于检测参考样本与查询样本之间的分布漂移,可应用于LLM幻觉检测和人工文本检测。该方法计算高效,具有理论保证,并且在合成和真实世界基准测试中与基线方法相比表现出竞争力。
本文引入了层表示动力学(LRD),这是一个包含三个测量家族的框架,用于分析语言模型中各层隐藏状态的变化。应用于30个MTEB任务上的31个模型,LRD揭示了架构差异,并实现了无标签模型选择和推理时层剪枝。