有人在日常中使用本地LLM作为知识库吗?不是为了编程,而是生活琐事。你的设置是怎样的?
摘要
一位用户希望了解其他人在日常生活中使用本地LLM作为个人知识库的真实经验,讨论了模型选择、检索可靠性以及工具维护等挑战。
最近我一直在深究这个问题,但发现很少有人真正讨论这个特定用例。大家都在本地运行LLM用于编程、聊天,或许还有创意写作,这很酷。但是,把它当作一个真正的个人知识库呢?比如,把你自己的笔记、PDF、各种文档倒入,然后每天私下*查询自己的生活*。我认真尝试过但碰壁了。大多数资源要么假设你是开发者正在构建东西,要么是两年前的老内容,推荐的工具已经彻底变了。所以我真心想问,有人真的每天都在这样做吗?不是作为实验,而是真实的工作流?我不断遇到的问题尚无法解决:
* 你为此运行什么模型?RAG在消费级硬件上似乎因量化而不稳定。
* 你实际*信任*检索结果吗?还是因为幻觉而反复核对?
* LlamaIndex vs Ollama vs其他工具,最近有什么让这变得没那么痛苦了吗?
* 上下文长度,当你的个人文档堆积起来时,你如何处理?不是要找教程或GitHub仓库。只是想知道有人是否已经成功做到了,而不需要像兼职一样维护。
相似文章
我看到很多人问“本地 LLM 真的能做些有用的事吗?”
作者分享了一个个人工作流,使用本地 Qwen 模型,通过 Google Docs 和 PDF 自动化数据库评估、邮件往来以及文档生成。
除了写作和编程,LLM为你做过的最有用的事情是什么?
一个讨论话题,询问人们实际采用的、非同寻常且实用的非写作、非编程的LLM使用案例。
LLM Wiki v2(16分钟阅读)
本文介绍了一种利用LLM构建个人知识库的模式,为在大语言模型辅助下进行知识管理提供了结构化方法。
在研究中合乎道德地使用LLM的唯一方法是采用闭环LLM知识库。
文章认为,使用LLM进行研究需要一个闭环系统,如Karpathy的LLM Wiki或Recall AI知识库,以防止幻觉,确保所有输出都基于可信的源文档。
@TheAhmadOsman:不知道从哪里开始本地AI?阅读我的Local LLMs From Zero to Hero系列 它涵盖:- 硬件 - 软件 -…
推广一个适合初学者的系列,教你如何在本地运行LLM,涵盖硬件、软件和模型原理。