有人在日常中使用本地LLM作为知识库吗？不是为了编程，而是生活琐事。你的设置是怎样的？
摘要
一位用户希望了解其他人在日常生活中使用本地LLM作为个人知识库的真实经验，讨论了模型选择、检索可靠性以及工具维护等挑战。
最近我一直在深究这个问题，但发现很少有人真正讨论这个特定用例。大家都在本地运行LLM用于编程、聊天，或许还有创意写作，这很酷。但是，把它当作一个真正的个人知识库呢？比如，把你自己的笔记、PDF、各种文档倒入，然后每天私下*查询自己的生活*。我认真尝试过但碰壁了。大多数资源要么假设你是开发者正在构建东西，要么是两年前的老内容，推荐的工具已经彻底变了。所以我真心想问，有人真的每天都在这样做吗？不是作为实验，而是真实的工作流？我不断遇到的问题尚无法解决：
* 你为此运行什么模型？RAG在消费级硬件上似乎因量化而不稳定。
* 你实际*信任*检索结果吗？还是因为幻觉而反复核对？
* LlamaIndex vs Ollama vs其他工具，最近有什么让这变得没那么痛苦了吗？
* 上下文长度，当你的个人文档堆积起来时，你如何处理？不是要找教程或GitHub仓库。只是想知道有人是否已经成功做到了，而不需要像兼职一样维护。
相似文章
我看到很多人问“本地 LLM 真的能做些有用的事吗？”
作者分享了一个个人工作流，使用本地 Qwen 模型，通过 Google Docs 和 PDF 自动化数据库评估、邮件往来以及文档生成。
本地LLM伙伴
一位拥有45年经验的开发者正在构建一个本地优先的LLM框架，包含多智能体逻辑，即将在GitHub上开源，并向社区询问哪些功能能改善他们的本地LLM体验。
除了写作和编程，LLM为你做过的最有用的事情是什么？
一个讨论话题，询问人们实际采用的、非同寻常且实用的非写作、非编程的LLM使用案例。
LLM Wiki v2（16分钟阅读）
本文介绍了一种利用LLM构建个人知识库的模式，为在大语言模型辅助下进行知识管理提供了结构化方法。
有人制作过“本地LLM生存工具包”吗？
本文提出了一种USB闪存盘方案，其中包含本地LLM可执行文件和压缩知识库（维基百科、书籍），以便在无互联网的情况下提供离线、便携的AI辅助功能。