标签
我们推出 Neurograf v1,这是一个实验性的端到端流程,用于从零开始训练以罗马尼亚语为主的语言模型,涵盖一个 635 GB 的语料库、一个词表大小为 8 万的字节级 BPE 分词器、五个仅解码器模型(参数量为 1.6 亿至 60 亿)、经过指令微调的助手以及嵌入模型。Neurograf-6B 在罗马尼亚语 WWTBM 基准测试中取得了 69.89% 的成绩,证明了在统一流程内开发低资源欧洲语言模型的可行性。
作者认为,EmbeddingGemma 2 以及嵌入模型整体都被低估了,并重点介绍了开源项目 DigUp——这是一款基于 Google 的 EmbeddingGemma 2 构建的 Mac 搜索应用,在内容、图像和音频搜索方面优于 Spotlight——同时指出,嵌入技术也可以改善 RAG 知识库搜索。
QontoFAQ 介绍了一个用于信息检索的新基准和指标,专注于提升回答产品问题的相关性度量,并发布了相关的代码和数据集。
本文提出了一种利用多功能嵌入模型结合多任务学习实现科学出版中资助机构名称消歧的框架,准确率超过0.90,性能优于GPT-5.2等通用大语言模型。
本文介绍了一种通过重新排序文档子集来迁移嵌入模型的方法,无需重新嵌入整个语料库,并达到相似的检索质量,同时介绍了embedflow,这是一个在PyPI和GitHub上可用的工具。
作者介绍了embedflow,一种无需重新索引即可在嵌入模型之间迁移的方法,节省了大量时间和资源。它是一个开源工具,可在GitHub上获取,便于轻松集成到工作流程中。
Bonsai 发现了一个普遍问题,其中嵌入向量被不必要地从 float32 转换为 float64,导致 'Float Bloat',浪费了存储和带宽,估计全球影响超过 20 Petabytes 的开销。
本文介绍了如何使用 Sentence Transformers 库训练和微调多向量嵌入模型,展示了其 v6.0 更新中的新 MultiVectorEncoder 类型,并在医疗检索任务中演示了其卓越的性能。
本文解释了嵌入模型及其在LLM推理中的作用,涵盖架构、流量特征和量化等优化技术。
一项关于嵌入与大语言模型成本效益的讨论,引用了名为'embedder's dilemma'的研究,该研究发现大语言模型以显著更高的成本超越了嵌入模型。
两款AI模型,LFM2.5-2.6B 和 LFM2.5-Embedding-350M,现已在OpenRouter平台上免费提供。
Sentence Transformers v6.0引入了MultiVectorEncoder,支持ColBERT风格的延迟交互检索,通过熟悉的API增强了多向量嵌入模型的功能。
本文比较了LLMs和嵌入模型在37个任务上的表现,发现尽管总体性能相似,但嵌入模型更便宜且更快,支持分工以提高成本效率。
作者提出了合成查询探测(Synthetic Query Probing),这是一种简单而有效的方法,通过比较不同嵌入模型之间的相似度匹配分数,而非原始嵌入空间,来比较不同的嵌入模型。论文展示了如Ada和Titan等模型之间的非线性关系,为更换嵌入模型和设定检索阈值提供了实用指导。
Introduces Synthetic Query Probing (SQP), a reference-free method for learning mappings between similarity score distributions across embedding models, enabling threshold portability in RAG systems. Experiments show systematic score distortions and isotonic regression as the best calibration approach.
提出RT,一种测试时推理方法,通过多次前向传播增强文本嵌入模型的语义推理能力,在推理任务上提升性能,同时保持通用语义理解。
对来自236个国家的26亿张涂鸦的分析揭示了常见概念视觉呈现中隐藏的文化差异,表明视觉意象保留了语言模型所压缩的丰富语义和文化结构。
本文介绍了一种用于模因中多模态性别歧视检测的层次化框架,该框架利用冻结的Gemini Embedding 2表示和轻量级门控MLP对标注者分歧进行建模,在EXIST 2026的细粒度性别歧视分类任务中取得了第一名。