我看到很多人问“本地 LLM 真的能做些有用的事吗?”

Reddit r/LocalLLaMA 新闻

摘要

作者分享了一个个人工作流,使用本地 Qwen 模型,通过 Google Docs 和 PDF 自动化数据库评估、邮件往来以及文档生成。

我来分享一下我的经验。答案是肯定的“是”。让我先谈谈我在 AI 工具链中每天使用的本地模型:嵌入模型(embedding models)。我使用嵌入模型为我 AI 的持久记忆系统提供一种语义搜索协议,这使得其对用户的记忆检索感觉无缝流畅。 我最近的一个用例是:最近,我一直在尝试 Qwen3.6-35B-A3B 的新应用。我试验了一种工作流,其中 Qwen 根据我提供的标准,以定期的每周间隔评估数据库。然后,它会根据符合我标准的数据给我发送电子邮件。我通过电子邮件回复我的选择,决定推进哪些项目。接着,它会获取我的选择,并将其与我们的来源列表和知识库进行比对,以创建一份文档,随后将其推送到 Google Doc,并向我发送该文档。我编辑 Google Doc 并留下评论,供 Qwen 作为反馈纳入。当我们完成迭代后,我通过电子邮件告知 Qwen 将文档转换为我们公司的 PDF 模板。它会将工作转换为格式精美的 PDF 并发送给我,以便我准备将其发送给最终用户。我从简单任务开始,逐渐转向更复杂的任务,但到目前为止,Qwen3.6-35B-A3B 在应对我交给它的每项任务时都表现出色。我会随着进展汇报情况,但结论非常明确:是的,你可以用本地 LLM 做许多有用的事情。你正在用你的本地 LLM 做什么呢?
查看原文

相似文章

本地LLM伙伴

Reddit r/LocalLLaMA

一位拥有45年经验的开发者正在构建一个本地优先的LLM框架,包含多智能体逻辑,即将在GitHub上开源,并向社区询问哪些功能能改善他们的本地LLM体验。