text-embeddings

标签

Cards List
#text-embeddings

语义丰富,度量却对情感不敏感:现代文本嵌入模型的几何盲点

arXiv cs.CL ↗ · 2026-10-26

一篇论文指出了现代文本嵌入模型中的一个系统性缺陷:通过线性探针可以高度准确地解码情感信息,但其余弦相似度度量却几乎无法体现这些信息。论文提出了 SISE,一种微型监督式对比学习头,可在冻结编码器的情况下修复这一问题。

0 人收藏 0 人点赞
#text-embeddings

当 PTQ 校准有益或有害时:量化文本嵌入模型中的剂量驱动崩溃与验证门控弃权

arXiv cs.AI ↗ · 2026-10-21 缓存

本文研究了针对4位文本嵌入模型(e5-base-v2、BGE-M3、EmbeddingGemma-300m)的学习式训练后量化校准方法,发现校准结果随更新的"剂量"不同,可能带来性能提升,也可能导致灾难性崩溃。为此,本文提出了一种基于验证门控的弃权规则,能够在保留绝大多数有益检查点的同时,避免选中有害的检查点。

0 人收藏 0 人点赞
#text-embeddings

扩展与蒸馏文本嵌入以提升扩散性

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

该论文指出,扩展文本嵌入(例如将 T5-small 换成 T5Gemma-2-270M)能大幅改进连续扩散语言模型,而将扩展后的嵌入蒸馏到一个连通性更强的潜在空间,可使其更易生成——最终在 Gen. PPL 上达到 17.8,优于 GPT-2-M。

0 人收藏 0 人点赞
#text-embeddings

从语言模型嵌入中恢复时间和地理信号

arXiv cs.AI ↗ · 2026-09-10 缓存

本文提出了一种黑盒、模型无关的方法,通过简单投影分析语言模型嵌入中的时间和地理信号,发现嵌入编码了有意义的时间顺序和空间结构,可用于可解释性和检索任务。

0 人收藏 0 人点赞
#text-embeddings

去噪感知反转:揭示噪声保护文本嵌入中的隐私风险

arXiv cs.LG ↗ · 2026-08-20 缓存

本文提出了一种去噪感知嵌入反转管道(DAEI),它能有效攻击噪声保护的文本嵌入,揭示了重大隐私风险,并对高斯噪声作为防御手段的有效性提出了挑战。

0 人收藏 0 人点赞
#text-embeddings

简单变换在文本嵌入模型间的迁移能力有多强?

arXiv cs.LG ↗ · 2026-08-07 缓存

这篇arXiv论文研究了简单的线性变换是否能在九个异构文本嵌入模型之间转换表示,发现共享结构和可迁移性共同取决于架构、训练目标、池化方法和数据分布,对普遍潜在兼容性的观念提出了挑战。

0 人收藏 0 人点赞
#text-embeddings

从文本到参数:利用正则化嵌入与信度/设计上限预测项目参数

arXiv cs.CL ↗ · 2026-07-09 缓存

本文提出了一种评估框架,利用正则化回归和信度/设计上限,从文本嵌入预测项目参数。结果表明,难度在很大程度上可从文本预测,而区分度和伪猜测则受限于信度,而非文本信号。

0 人收藏 0 人点赞
#text-embeddings

文本嵌入中情感线索的跨心理学情绪理论比较研究

arXiv cs.CL ↗ · 2026-06-30 缓存

本文评估了十二种最新文本编码器在三种心理学情绪理论中编码情感线索的能力,发现指令感知的开源权重编码器在单词级别上达到或超过专有编码器,而任务微调嵌入在句子级别上更优。

0 人收藏 0 人点赞
#text-embeddings

我的嵌入表示是否反映了 $A = B$?评估嵌入模型中的数学等价性

arXiv cs.CL ↗ · 2026-06-24 缓存

本文介绍了MELD数据集,用于评估文本嵌入模型是否能够捕捉不同术语之间的数学等价性,并发现当前模型无法做到。本文提出了一种对比学习方法,用于对齐非正式和正式的数学表述,从而在非正式-正式检索任务以及自然语言任务上均取得改进。

0 人收藏 0 人点赞
#text-embeddings

跨主题覆盖、能力与认知深度的课程对齐测量:应用于CS2013和CS2023的纵向框架

arXiv cs.AI ↗ · 2026-06-20 缓存

本文提出一种人在回路流水线,用于测量计算机科学项目对课程指南的覆盖情况,并纵向应用于CS2013和CS2023。该框架显示主题覆盖率近乎恒定,但由于新版指南提高了期望,认知深度存在差距。

0 人收藏 0 人点赞
#text-embeddings

你的逆嵌入矩阵实际上是文本嵌入的特征透镜

Hugging Face Daily Papers ↗ · 2026-06-05 缓存

本文指出,LLM文本嵌入过度表达了高频无信息词元,并提出EmbedFilter,一种线性变换,通过滤除该子空间来改善语义表示并实现降维。

0 人收藏 0 人点赞
#text-embeddings

JFinTEB:日本金融文本嵌入基准

arXiv cs.CL ↗ · 2026-04-20 缓存

JFinTEB引入了首个全面的基准,专门用于评估日本金融文本嵌入,填补了特定领域和语言特定评估资源的空白。该基准包括在日本特定、多语言和商业嵌入模型中评估的检索和分类任务,数据集和评估框架已公开发布。

0 人收藏 0 人点赞
#text-embeddings

全新改进的嵌入模型

OpenAI Blog ↗ · 2022-12-15 缓存

OpenAI 发布了 text-embedding-ada-002,这是一个统一的嵌入模型,将之前的五个模型整合为一个,具有更出色的性能、4 倍更长的上下文窗口(8192 个令牌)、更小的维度(1536)以及比之前的 Davinci 嵌入模型低 99.8% 的定价。

0 人收藏 0 人点赞
#text-embeddings

saattrupdan/multilingual-e5-large-instruct

Replicate Explore ↗ · 2026-10-15 缓存

Saattrupdan 提供的 multilingual-e5-large-instruct 文本嵌入模型,基于 xlm-roberta-large 初始化,并经过弱监督对比预训练与指令微调,支持 100 种语言的检索与语义相似度任务。

0 人收藏 0 人点赞
#text-embeddings

krthr/clip-embeddings

Replicate Explore ↗ · 2026-05-09 缓存

一个托管在 Replicate 上的基于 CLIP 的嵌入模型,使用 clip-vit-large-patch14 架构为图像和文本生成 768 维嵌入向量,每次运行费用约为 $0.00022。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈