标签
一篇论文指出了现代文本嵌入模型中的一个系统性缺陷:通过线性探针可以高度准确地解码情感信息,但其余弦相似度度量却几乎无法体现这些信息。论文提出了 SISE,一种微型监督式对比学习头,可在冻结编码器的情况下修复这一问题。
本文研究了针对4位文本嵌入模型(e5-base-v2、BGE-M3、EmbeddingGemma-300m)的学习式训练后量化校准方法,发现校准结果随更新的"剂量"不同,可能带来性能提升,也可能导致灾难性崩溃。为此,本文提出了一种基于验证门控的弃权规则,能够在保留绝大多数有益检查点的同时,避免选中有害的检查点。
该论文指出,扩展文本嵌入(例如将 T5-small 换成 T5Gemma-2-270M)能大幅改进连续扩散语言模型,而将扩展后的嵌入蒸馏到一个连通性更强的潜在空间,可使其更易生成——最终在 Gen. PPL 上达到 17.8,优于 GPT-2-M。
本文提出了一种黑盒、模型无关的方法,通过简单投影分析语言模型嵌入中的时间和地理信号,发现嵌入编码了有意义的时间顺序和空间结构,可用于可解释性和检索任务。
本文提出了一种去噪感知嵌入反转管道(DAEI),它能有效攻击噪声保护的文本嵌入,揭示了重大隐私风险,并对高斯噪声作为防御手段的有效性提出了挑战。
这篇arXiv论文研究了简单的线性变换是否能在九个异构文本嵌入模型之间转换表示,发现共享结构和可迁移性共同取决于架构、训练目标、池化方法和数据分布,对普遍潜在兼容性的观念提出了挑战。
本文提出了一种评估框架,利用正则化回归和信度/设计上限,从文本嵌入预测项目参数。结果表明,难度在很大程度上可从文本预测,而区分度和伪猜测则受限于信度,而非文本信号。
本文评估了十二种最新文本编码器在三种心理学情绪理论中编码情感线索的能力,发现指令感知的开源权重编码器在单词级别上达到或超过专有编码器,而任务微调嵌入在句子级别上更优。
本文介绍了MELD数据集,用于评估文本嵌入模型是否能够捕捉不同术语之间的数学等价性,并发现当前模型无法做到。本文提出了一种对比学习方法,用于对齐非正式和正式的数学表述,从而在非正式-正式检索任务以及自然语言任务上均取得改进。
本文提出一种人在回路流水线,用于测量计算机科学项目对课程指南的覆盖情况,并纵向应用于CS2013和CS2023。该框架显示主题覆盖率近乎恒定,但由于新版指南提高了期望,认知深度存在差距。
本文指出,LLM文本嵌入过度表达了高频无信息词元,并提出EmbedFilter,一种线性变换,通过滤除该子空间来改善语义表示并实现降维。
JFinTEB引入了首个全面的基准,专门用于评估日本金融文本嵌入,填补了特定领域和语言特定评估资源的空白。该基准包括在日本特定、多语言和商业嵌入模型中评估的检索和分类任务,数据集和评估框架已公开发布。
OpenAI 发布了 text-embedding-ada-002,这是一个统一的嵌入模型,将之前的五个模型整合为一个,具有更出色的性能、4 倍更长的上下文窗口(8192 个令牌)、更小的维度(1536)以及比之前的 Davinci 嵌入模型低 99.8% 的定价。
Saattrupdan 提供的 multilingual-e5-large-instruct 文本嵌入模型,基于 xlm-roberta-large 初始化,并经过弱监督对比预训练与指令微调,支持 100 种语言的检索与语义相似度任务。
一个托管在 Replicate 上的基于 CLIP 的嵌入模型,使用 clip-vit-large-patch14 架构为图像和文本生成 768 维嵌入向量,每次运行费用约为 $0.00022。