@Asteri_eth: Karpathy 找到了一种将 token 消耗减少 90% 的方法。问题在于 LLM 反复读取相同的文件...
摘要
Karpathy 的 'Wiki Layer' 方法通过让模型清理、结构化并链接数据到本地的 Markdown 知识库，将 LLM token 使用量减少高达 90%，从而消除重复读取原始文件。
Karpathy 找到了一种将 token 消耗减少 90% 的方法。问题在于 LLM 反复读取相同的文件，导致丢失文档间的上下文，从而回答准确度下降。解决方案称为 Wiki Layer：LLM 一次性清理、结构化并链接所有数据，之后便不再处理原始文件。三个文件夹：`raw/` 存放原始文件，`wiki/` 存放以 Markdown 格式整理的清洁知识库，以及包含代理规则的文件。效果：重复查询时 token 节省高达 90%，文档间自动链接，在 Obsidian 中生成可视化知识图谱。一切都在本地机器上运行，不涉及云端。
相似文章
@rohit4verse: karpathy 将他的 token 预算从编写代码转移到构建知识库。一个 LLM 编写和维护的 markdown 文件…
关于使用像 Claude 这样的 LLM 在 Obsidian 中构建和维护知识库的指南，包括自动化的每日简报和笔记记录。
@neil_xbt: 有人将383份散乱文件和100份会议记录整理成一个紧凑的维基，并将他们的Claude token使用量削减了……
一种名为LLM Wiki模式的技术将原始文档编译成带有索引的结构化维基，通过仅在编译时一次性支付结构理解成本（而非每次查询），将Claude token使用量削减了95%。
在Karpathy的LLM Wiki上一个月后，瓶颈不是搭建，而是维护
一位开发者分享了基于Andrej Karpathy的想法构建LLM驱动维基的一个月经验，发现虽然搭建容易，但持续维护——如处理过期源、成本和集成——才是真正的挑战。
@DataScienceDojo：Andrej Karpathy 的 LLM Wiki 是一种构建个人知识库的模式，能够随时间持续积累。
Andrej Karpathy 的 LLM Wiki 模式能够构建一个持久化、结构化的知识库，并随时间不断累积，这与无状态的 RAG 系统不同。本教程展示了如何在 30 分钟内使用 LLM 来编译和链接 Markdown 页面，从而创建一个这样的知识库。
@DeRonin_: 这个长达两小时的安德烈·卡帕西讲座，关于如何使用LLM，教给你的东西比大多数AI推特账号能弄明白的要多得多……不……
安德烈·卡帕西的讲座揭示了一种“LLM Wiki”模式，能将过往内容转化为一个自我更新的知识库，帮助创作者发现自身写作中的模式。