标签
Zilliz的首席技术官James Luan认为,随着AI智能体在企业数据上行动,数据基础设施变得越来越关键,强调了数据质量、新鲜度和适当权限的必要性。
MongoDB Atlas 推出了自动嵌入功能,使数据库能够在内部生成和管理嵌入向量,用于语义搜索,无需外部服务并改善数据同步。
作者更新了‘embedflow’嵌入向量迁移项目,新增了包括支持多种向量数据库、迁移规划器、影子模式和持久缓存等功能,使其可用于生产环境中的嵌入模型转换。
Zilliz 的首席技术官 James 介绍了 Vector Lakebase,以及 One Data 和 One Index 的概念,旨在统一 AI 工作负载的数据和索引管理,通过利用湖原生存储改变智能体检索信息的方式。
本文探讨了智能体记忆如何将向量搜索转变为长期存在的系统问题,强调了需要超越搜索算法的可扩展、可靠的基础设施。
@memory 是 AIPass 开源框架中的一个归档代理,通过向量化较旧的条目并将其存储在 ChromaDB 中来管理 AI 代理的记忆,确保长期持久化和回忆,不会丢失数据。
文章认为,向量数据库中的余弦相似度是一个数学属性,不确保事实准确性,使得检索系统容易受到中毒攻击,其中恶意文档可以在排名中超过合法文档。
Weaviate 引入了一种无需文本提取即可搜索PDF的方法,通过后期交互多向量检索将每一页作为图像嵌入,在NVIDIA投资者演示文稿中进行了演示。
文章警告了免费层级向量数据库的限制,强调了数据删除和部署约束等问题,并建议根据AI代理的运行位置来选择。
文章论点是检索增强生成(RAG)在AI系统中经常被误用,真正的问题在于上下文策展而非检索。它表明RAG仅对大规模、频繁变化的语料库真正有益。
本文认为,PostgreSQL 是一个功能全面的数据库解决方案,足以替代搜索引擎、消息队列和缓存等多种专用技术,从而简化 IT 架构。
这篇文章认为,向量数据库单独作为数据坟墓,缺乏真正的记忆功能,并描述了在Actian VectorAI DB之上构建具有矛盾检测和遗忘周期的本地AI记忆层。
介绍开源项目 RAG from Scratch,通过分步骤的本地代码实验完整拆解 RAG 链路,涵盖文本分块、向量化、检索、重排序与查询重写等进阶策略,帮助开发者从底层理解 RAG 实现。
来自MachineLearningMastery的一篇教育性文章,涵盖了RAG流水线的七种分块策略,从固定大小令牌分块到高级语义和层次化方法,并提供了每种策略的适用场景指导。
Pathway 团队开源的 llm-app 是一个用于构建企业级 RAG 系统的框架,支持实时数据同步、内置向量检索,并配有现成的云模板,GitHub 上已获 5.9 万+ Star。
本文介绍了ScalableRAG,一种检索增强生成方法,通过基于正则表达式的集合创建和聚合推理,在无需任何摄入成本(无需向量数据库或知识图谱)的情况下实现高准确率。它在多个数据集上优于基线方法,并提出了一个有限摄入变体以进一步提升准确率。
HARP 是一种无需训练的可解释性方法,它利用配备激活向量数据库及操作工具的 LLM 代理,在概念发现、概念检测、模型引导和秘密抽取方面优于基于训练的方法。
一条推文讨论了AI代理随时间变慢的原因,因为其向量数据库针对静态数据优化,但实际代理不断添加新数据,导致性能下降。
一条推文警告说,仅根据速度基准测试选择向量数据库可能会对AI智能体造成陷阱,因为AI智能体具有持续的写入负载,这与RAG以读取为主的模式不同。它根据用例推荐了特定的数据库,例如用于智能体记忆的Qdrant,以及用于PostgreSQL上低于1000万向量的pgvector。
此工具在本地对PDF和Markdown文件进行索引,用于语义搜索和AI增强,使用Ollama进行嵌入和LLM处理,并提供CLI和MCP服务器以便与AI助手集成。