标签
介绍一种基于768维嵌入空间上的吸收马尔可夫链(Absorbing Markov Chain)的语义分流引擎,通过在60节点领域流形上做随机游走来替代朴素余弦相似度路由,实现<2ms的零token意图分类,从而在唤醒LLM之前完成路由。文中给出JevBench基准测试结果:四层级联系统(Gevva0)在240个条目上达到100%召回、89.17%精度,平均p50延迟46ms,并配备否定/语法、流形邻近OOD和熵与边界三重防护网。
研究人员发布了一个包含约16万篇巴西葡萄牙语金融新闻文章的大规模语料库,并基于语义相似度(余弦相似度、KNN、FAISS)建立了多分类弱监督基准,结果显示任务对标注质量和类别分布高度敏感。
互动式指南讲解向量嵌入的历史、原理与实践应用,通过可视化展示语义空间、向量运算与语义相似性,并演示语义搜索、聚类、零样本分类等真实场景。文中使用 Kanon 2 Embedder 的真实嵌入构建了一个交互式词语地图游戏。
TopicMerge 提出了一种多阶段「分而治之」主题建模流水线:先用高效嵌入方法将语料库过度分割为细粒度微簇,再由大语言模型引导迭代合并,在实现最先进的聚类性能的同时,将大语言模型调用量减少 92% 以上。
该论文展示预训练语言模型无需任务特定训练即可零样本完成记录链接与姓名族群推断两项社会科学常规任务;作者提出 EnsembleLink 算法,在记录链接上匹敌或超越既有方法,并证明 LLM 在美国选民文件上的族群推断准确率高达 83.8%,优于 name-supplemented BISG,并可推广到宗教、种姓等其他群体类别。
该论文利用 Pythia 和 OLMo 等开源模型的中间检查点,系统研究了大语言模型在训练过程中形态结构、嵌入漂移、重复主导与共现效应的演化规律,发现模型在语义嵌入稳定之前就已习得形态结构,且训练数据规模有助于发散识别,而共现和重复则有负面影响。
作者将 Gevva0 升级为级联决策引擎(静态规则 → 吸收马尔可夫链 → 快速路径 logits → 有界思维链),并诚实地发布了对先前“100% GTO”说法的更正:修复提示泄漏漏洞后,零样本 GTO 一致率实为约 15%-29%,但延迟仍保持约 2 毫秒。
本文提出了 COUNT(Counting Offline Unlocks N-gram Transformers),该方法利用存储在主机内存中的预计算计数来构建 N-gram 嵌入,无需可学习参数,从而改善了十亿参数级语言模型的验证损失,并实现了推理时的免训练领域适配。
谷歌的 EmbeddingGemma 2 嵌入模型被改造成了一款语音转文字工具,通过在冻结的音频编码器之上添加一个经过训练的小型读取器,可在基础款 MacBook Air 上完全于本地运行,用约 13 秒转录一小时的音频。
有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型,通过在冻结参数的嵌入模型上训练轻量级 Reader,把语音转写从生成问题变成检索问题,在 M3 MacBook Air 上实现 288× 实时速度(1 小时音频约 13 秒转写),WER 约 5%,可能重塑端侧 STT 市场。
Google 介绍了开发者如何结合 EmbeddingGemma 2 与 Google AI Edge,构建完全在设备端运行的应用,让用户通过自然语言描述来搜索照片、视频和音频。
VectorDash 是一款面向 Windows 11 的全功能搜索替代工具,灵感来自 macOS 的 DigUp,借助 EmbeddingGemma 2 实现跨图片、音频、视频、PDF 和 Office 文档的语义与精确搜索,并支持快速文件索引、全局启动器、MCP 服务器及本地加密存储。
研究人员推出了 GeopoliticalQA,这是一个基于 415 份地缘政治与战略情报报告、包含 5,525 个问答对的基准,用于评估 15 个检索系统和六个开放权重的大语言模型。他们发现,在文本块级检索中,中等规模的编码器 bge-m3 的表现可媲美或超越规模大得多的嵌入模型及商业嵌入模型,而对于推理类和风险导向的问题,即使提供标准证据,答案生成仍然困难。
Feiteng Li 分享了一份针对 EmbeddingGemma2 的开源资源清单,涵盖 DigUp、Recall 等本地多模态搜索应用、决策模型微调方案,以及 llama.cpp、MLX、LiteRT、Transformers.js 等多端部署路径。相关仓库已开源并欢迎社区贡献。
Palette Atlas 使用 8×16 维切片 Wasserstein 嵌入和手写的 HNSW,在 48,695 幅公有领域画作上实现按配色检索:L1 距离与精确 EMD 的前 10 个检索结果重合率达 78%,在 ef=32 时,前 10 个结果的召回率达 1.000,延迟仅为 0.25 毫秒(暴力搜索需 14 毫秒)。
Maxime Rivest 发布了 ScienceMadeReadable:一个免费、开源的科学文献语义搜索 API,覆盖约 2 亿篇论文,可直接被 AI 代理调用,无需密钥或注册,嵌入由 LightOn 的 DenseOn 模型驱动。
Google 的 Embedding Gemma 2 嵌入模型现已可在 Mac 上 100% 免费本地运行,实现隐私安全且零成本的文本嵌入工作流。
一个求职者分享了面试 AI Agent 实施团队时被 RAG 检索细节问题难住的经历,并总结出生产级 RAG 需结合向量检索与 BM25 关键词搜索的混合检索,再用 Cross-encoder Reranker 进行二次精排,以解决语义相近但实体错误的检索问题。
Recall 是一款开源的 Linux 本地语义文件搜索工具,使用 Rust 和 GTK 4 构建,通过 llama.cpp 运行 EmbeddingGemma 2,为 PDF、Office 文件、媒体文件等建立索引,支持基于内容的查询,模型下载后无需网络连接。
DigUp 是一款免费开源的 Mac 应用,本地运行 Google DeepMind 的 EmbeddingGemma 2 模型,通过文本、图像、音频和视频的统一嵌入空间实现对本地文件的语义搜索。