@ianchanning: 如果你的RAG系统并不比https://google.com/ai好,那你已经浪费了一大笔钱(我怀疑有很多…
摘要
伊恩·钱宁批评那些在表现并不优于Google AI的RAG系统上浪费资金的公司,他认为能够访问语料库并不等同于拥有深厚专业知识,并且推理无法与知识完全分离。
查看缓存全文
缓存时间: 2026/07/05 12:33
如果你的RAG系统并不比直接访问 https://google.com/ai 更好,那你就是在浪费一大笔钱(我怀疑已经有相当多的公司这么干了)。
摘自《辉煌的机器学习》(Glorious Machine Studying):
“但这将拥有语料库与培养深厚专业知识混为一谈:你不会仅仅因为我们能非常聪明地用谷歌搜索法律文献就雇佣我们当律师。至少,一名优秀律师的关键在于知道要找什么、去哪里找,以及找到相关段落之后如何处理。
可以说,推理和搜索是无法与知识分离的(见下文)。一个决定要搜索什么或打开哪个文件的智能体,其行为源自当前的权重,而这些权重可能与语料库所编码的世界产生冲突。“ – https://jacobxli.com/blog/2026/machine-studying/#2-cant-the-agent-just-search-the-corpus…
奥马尔·哈塔布(@lateinteraction): 你不能像自己想象的那样,将推理和知识清晰地分开。
如果你问我在2020/2021年关心什么,我会说是“将语言模型理解文本的能力与其存储知识的方式解耦”(引自下方链接)。
相似文章
我认为RAG不再是企业的默认答案
一位实践者认为RAG不再是企业AI的自动化解决方案,指出许多问题实际上是数据卫生或结构化查询问题,而带有工具使用的智能体往往更好。
@insomnia_vip: 一位AI工程师花了数月时间构建了大多数人试图伪造的RAG堆栈。她发布了一个开源项目,该…
一位AI工程师发布了一个开源项目,教授如何从零构建本地RAG系统,以及一个生产级别的智能体架构,包含LangGraph、混合检索、缓存和可观测性。
GraphRAG 在 AI 代理中何时真正值得使用?
一位开发者反思了何时 GraphRAG 比标准 RAG 更适合 AI 代理,指出它在多跳推理和关系理解方面很有价值,但增加了显著的复杂性。
评估了一个RAG聊天机器人,最昂贵的模型表现最差。关于真正影响性能的因素的笔记。
对RAG客户支持聊天机器人的详细评估揭示:检索问题常被误认为是LLM问题,启发式评估器具有误导性,去重可提升质量,严格基于文档的约束会在帮助性和准确性之间取舍,而模型扫查可在提升性能的同时大幅降低成本。
"大多数 RAG 基准测试对真实世界的语料库存在误导" 来自3个生产网站的测试数据。
本文认为,大多数 RAG 基准测试具有误导性,因为它们假设语料库质量均匀,而真实世界的语料库在内容密度上差异很大。利用来自三个生产网站的数据,本文展示了一种分层方法和“产出分数”可以更好地预测检索效果。