语义距离作为路由层:一种无服务器、设备端的中心索引模型替代方案

Reddit r/LocalLLaMA 新闻

摘要

提出一种去中心化的信息发现系统,使用设备端嵌入模型和点对点传播,消除了对搜索引擎等中心索引的需求。

**前提**:大约30年来,信息或人的发现一直由中心索引中介:搜索引擎、推荐系统……排序在服务器端计算,遵循用户无法检查的规则和用户不共享的激励。我想测试这是否是基本要求,还是仅仅是历史上方便的做法。**假设**:如果每个设备可以(a)在本地运行一个胜任的嵌入模型,并且(b)**与其他设备点对点连接**,那么相关性就不再需要中心索引。可以在边缘通过语义距离计算,没有特权的排序方。**方法**:我开发了一个工作原型来压力测试这个想法,而不是模拟它。每条帖子由设备上运行的模型(EmbeddingGemma-300M)编码成一个**嵌入**。一个轻量级的签名公告(作者+嵌入)通过共享房间点对点传播;仅当节点实际接受时,才拉取完整的帖子体。每个设备根据余弦相似度对传入的帖子与其自身帖子进行排序,并维护一个有限的本地的收件箱。没有服务器,没有账户,没有全局排名,地址空间就是意义。**扩展到智能体**:同样的基础允许AI智能体发现彼此:一个智能体发布一个需求或提供作为一个嵌入,与其配置文件语义接近的智能体响应。我想知道你对此有何看法?有什么建议?评论?……
查看原文

相似文章

将搜索与推理解耦:一种供应商无关的LLM智能体接地架构

arXiv cs.AI

本文介绍了去耦搜索接地(DSG)——一种供应商无关的架构,它将搜索检索与LLM推理分离,从而能够对提供商路由、缓存和输出合约进行显式控制。实验表明,DSG在成本降低91%和延迟降低68%的情况下,几乎达到了原生搜索的准确率。

数据中心移动到你的设备上(4分钟阅读)

TLDR AI

Perplexity在2026年台北国际电脑展上发布了一款混合本地-云端推理系统,该系统能智能地在设备端模型和云端模型之间路由查询,基于其早前的Personal Computer agent构建。

设备端神经架构搜索

arXiv cs.LG

提出了一种轻量级神经架构搜索方法,直接在部署设备上执行,用于近传感器计算。在sEMG手语和故障诊断数据集上进行了验证,提高了准确率并减少了RAM占用。

重新思考扩散Transformer中的跨层信息路由

Hugging Face Daily Papers

本文提出扩散自适应路由(DAR),这是一种可学习的、时间步自适应的残差替换方法,旨在改善扩散Transformer中的跨层信息流动,从而显著加速训练并提升质量。