我看到很多人问“本地 LLM 真的能做些有用的事吗?”
摘要
作者分享了一个个人工作流,使用本地 Qwen 模型,通过 Google Docs 和 PDF 自动化数据库评估、邮件往来以及文档生成。
我来分享一下我的经验。答案是肯定的“是”。让我先谈谈我在 AI 工具链中每天使用的本地模型:嵌入模型(embedding models)。我使用嵌入模型为我 AI 的持久记忆系统提供一种语义搜索协议,这使得其对用户的记忆检索感觉无缝流畅。
我最近的一个用例是:最近,我一直在尝试 Qwen3.6-35B-A3B 的新应用。我试验了一种工作流,其中 Qwen 根据我提供的标准,以定期的每周间隔评估数据库。然后,它会根据符合我标准的数据给我发送电子邮件。我通过电子邮件回复我的选择,决定推进哪些项目。接着,它会获取我的选择,并将其与我们的来源列表和知识库进行比对,以创建一份文档,随后将其推送到 Google Doc,并向我发送该文档。我编辑 Google Doc 并留下评论,供 Qwen 作为反馈纳入。当我们完成迭代后,我通过电子邮件告知 Qwen 将文档转换为我们公司的 PDF 模板。它会将工作转换为格式精美的 PDF 并发送给我,以便我准备将其发送给最终用户。我从简单任务开始,逐渐转向更复杂的任务,但到目前为止,Qwen3.6-35B-A3B 在应对我交给它的每项任务时都表现出色。我会随着进展汇报情况,但结论非常明确:是的,你可以用本地 LLM 做许多有用的事情。你正在用你的本地 LLM 做什么呢?
相似文章
有人在日常中使用本地LLM作为知识库吗?不是为了编程,而是生活琐事。你的设置是怎样的?
一位用户希望了解其他人在日常生活中使用本地LLM作为个人知识库的真实经验,讨论了模型选择、检索可靠性以及工具维护等挑战。
本地LLM伙伴
一位拥有45年经验的开发者正在构建一个本地优先的LLM框架,包含多智能体逻辑,即将在GitHub上开源,并向社区询问哪些功能能改善他们的本地LLM体验。
除了写作和编程,LLM为你做过的最有用的事情是什么?
一个讨论话题,询问人们实际采用的、非同寻常且实用的非写作、非编程的LLM使用案例。
本地LLM vs AI API:值得吗?值得。
一篇观点文章,权衡了运行本地大语言模型与使用云端AI API的利弊,结论是本地模型是值得的。
顶级科技公司在内部如何真正使用大语言模型,而不仅仅是基础的编码辅助?
这篇文章探讨了谷歌、Meta 和 OpenAI 等主要科技公司如何在内部运用先进的大语言模型工作流,重点关注智能体任务、人在回路系统以及超越基础编码的实际应用。它旨在寻找实际的用例和操作流程,供小型初创公司和团队借鉴,以提高生产力和效率。