embeddings

来自MachineLearningMastery的一篇教育性文章，涵盖了RAG流水线的七种分块策略，从固定大小令牌分块到高级语义和层次化方法，并提供了每种策略的适用场景指导。

InsightEmb 是一种用于智能体洞察检索的对比嵌入框架，仅通过数学推理数据即可学习面向进展的检索几何结构，从而在无需环境特定训练的情况下改进 LLM 智能体的检索效果。

作者构建了一个流水线，将6.6万集播客转录，提取并聚类超过70万个观点到二维语义地图中，用于追踪投资叙事，并过滤掉AI生成的内容。

Dylan Castillo 比较了 Matryoshka 表示学习（MRL）与主成分分析（PCA）在降低嵌入维度方面的效果，并在八个 BEIR 数据集上进行了实验，以评估检索质量与向量大小缩减之间的权衡。

UEmbed 是一个仅解码器的多模态嵌入模型，能够在一次前向传播中同时生成稀疏和稠密表示，已发布 2B、4B 和 9B 三种规模。它在 MMEB-v2 上优于现有基于公开数据训练的多模态嵌入模型，并在 BEIR 上保持竞争力。

Notion分享了其向量搜索基础设施在过去两年中实现规模扩大10倍、成本降低90%的经验，详细介绍了从上线到处理数百万工作区的架构演变。

一个包含欧盟AI法案的933个法律结构化文本块以及BGE-M3嵌入向量的资源，打包在一个SQLite文件中，便于在检索增强生成系统中使用。

Memvid是一个开源工具，将智能体记忆打包到mp4文件中，相比传统的RAG管道和向量数据库，性能显著提升。

本文分析了用于点击率预测的深度神经网络模型中的早期训练崩溃现象，并提出了缓解策略，如稀疏特征移除和值过滤，在大规模工业数据集上展示了改进效果。

一个将Obsidian仓库笔记转换为嵌入并实时渲染3D网络可视化的工具，揭示思维拓扑和隐藏的缺口。

作者认为，对于已经订阅ChatGPT Pro等LLM服务的用户来说，为记忆系统运行本地嵌入模型和重排序模型比运行本地LLM更实用，并详细介绍了他们基于GBrain的配置。

本文介绍了黎曼均值池化（RMP），该方法通过拉回度量利用黎曼几何聚合预训练语言模型的词元嵌入，在句子分类任务上表现出优于欧氏池化的性能。

一位研究人员报告，在细粒度汽车分类任务中使用k-NN时，冻结的SigLIP2（92%）和DINOv2（41%）嵌入之间存在惊人的50个百分点的准确率差距，寻求了解线性探针是否能缩小差距，或者DINOv2是否不适合检索。

本研究探讨了来自大型语言模型的上下文嵌入是否能预测普通话单音节词的口语时长和音高轮廓，结果表明其预测能力高于随机水平，并能将归一化基频轮廓反变换回毫秒时间尺度。

Manticore Search 27.1.5 引入了一个新的 ONNX Runtime 后端用于嵌入，其性能比之前的 SentenceTransformers/Candle 路径提升约14倍，吞吐量从每秒5-11个文档提高到每秒70-230个文档，并且无需更改API。

介绍ALEE，一个使用抽象意义表示生成具有受控语义偏移的英语极小对的框架，并将其翻译用于评估275+种语言的文本嵌入，揭示了跨语言语义表示中持续存在的差距。

本文介绍了一项关于使用人工智能通过自然语言查询查找仿真模型的实验研究，评估了数据表示、嵌入模型和检索策略，发现开源嵌入和重排序方法显著提高了性能。

提出了一种将图嵌入高维空间并搜索信息性二维视角的方法，这些视角优化了美学和可读性指标（例如边交叉和角分辨率），这得益于一种新颖的边交叉可微替代方法。引入了一个交互式系统DataFly，用于探索多个候选视角。

Supermemory 现在可以完全在你的本地机器上运行，支持任何模型或通过 Ollama 离线使用，并集成了 Claude Code、Cursor、Langchain 等工具。

RAGless 是一种语义检索系统，它将用户问题与预生成的问题变体进行匹配，适用于封闭域 FAQ，省去了标准 RAG 中的 LLM 生成步骤，从而提高了精确度。