有人在日常中使用本地LLM作为知识库吗?不是为了编程,而是生活琐事。你的设置是怎样的?

Reddit r/LocalLLaMA 新闻

摘要

一位用户希望了解其他人在日常生活中使用本地LLM作为个人知识库的真实经验,讨论了模型选择、检索可靠性以及工具维护等挑战。

最近我一直在深究这个问题,但发现很少有人真正讨论这个特定用例。大家都在本地运行LLM用于编程、聊天,或许还有创意写作,这很酷。但是,把它当作一个真正的个人知识库呢?比如,把你自己的笔记、PDF、各种文档倒入,然后每天私下*查询自己的生活*。我认真尝试过但碰壁了。大多数资源要么假设你是开发者正在构建东西,要么是两年前的老内容,推荐的工具已经彻底变了。所以我真心想问,有人真的每天都在这样做吗?不是作为实验,而是真实的工作流?我不断遇到的问题尚无法解决: * 你为此运行什么模型?RAG在消费级硬件上似乎因量化而不稳定。 * 你实际*信任*检索结果吗?还是因为幻觉而反复核对? * LlamaIndex vs Ollama vs其他工具,最近有什么让这变得没那么痛苦了吗? * 上下文长度,当你的个人文档堆积起来时,你如何处理?不是要找教程或GitHub仓库。只是想知道有人是否已经成功做到了,而不需要像兼职一样维护。
查看原文

相似文章

LLM Wiki v2(16分钟阅读)

TLDR AI

本文介绍了一种利用LLM构建个人知识库的模式,为在大语言模型辅助下进行知识管理提供了结构化方法。