你可能还不知道 Qwen 3.6 27B 现在就能做的 10 件事。(新手向)

Reddit r/LocalLLaMA 新闻

摘要

一篇适合初学者的 Reddit 指南,分享了通过 llama.cpp 使用开源 Qwen 3.6 27B 模型可以构建的 10 种项目,包括自定义应用、聊天前端、ReAct 循环、MCP 工具、子智能体和流水线运行器。

我知道大家都对 3.8 很兴奋,但说实话,我还在继续打磨 3.6。而且我讨厌 3.8 的说话方式,所以……我总看到各种帖子在问开源到底有什么用,于是决定发这篇帖子,给出自己的答案。Qwen 3.5 27B 是我的第一个智能体,我大约在 5 月 31 日开始了这段旅程,这四个多月里学到了很多,所以想分享给其他刚起步的人,因为显然有非常多的新用户,大家需要帮助,但有时不敢开口,或者不知道该问什么。那么,下面这十件事,你应该知道自己都能做到,让自己更有底气!(哦,还有,我推荐使用 llama.cpp。我下面这些技巧都是用它实现的)1. 给自己做一些精巧的小应用。Qwen 非常擅长制作各种用途的应用。我现在就是在自己做的一款记事本替代应用里写这篇帖子,它有完整的文字处理功能、侧边栏、浅色/深色模式等等。(见下图)。当你碰到任何问题时,首先应该想的是:“我能不能做个应用,让这件事变简单?”答案通常是可以。https://preview.redd.it/xi91phrjwvvh1.png?width=993&format=png&auto=webp&s=3893dd6f6def7cfa6a2210b16e0d8f092224ceff 2. 创建自己的聊天界面前端。如果你觉得自己没那么有创意,直接照着现成的做一个就行。大语言模型很擅长模仿。我喜欢 Claude,所以就照着它做了自己的前端,再根据自己的需求进行定制:https://preview.redd.it/xwu9o8wr0wvh1.png?width=1160&format=png&auto=webp&s=d6a2f9908ac9c6547a3581d20a24f084e624e1ce 3. 创建 ReAct 循环。这能让模型使用工具、读取结果,然后再次使用工具,如此反复多次。Qwen 做这些简直闭着眼睛都行,而且能用很多不同的方式来实现。你想在哪儿加循环,它都能加;如果你要做自己的定制聊天界面前端,也会需要它。4. 创建 MCP 工具。这是我最喜欢的一项。它几乎能制作你需要的任何类型的 MCP 工具。你不必使用可能不安全的第三方工具。只要告诉它,你想要一个能做某件事的 MCP 工具,它就会做出来。这个工具可能需要独立的 MCP 服务器,也可能不需要,但如果需要,Qwen 也能把服务器做出来。5. 启动子智能体。这也是 Qwen 能轻松搞定的事。只要让它创建一个子智能体启动器就行,其实就是一个 Python 文件。然后,你可以让它在需要创建子智能体时运行这个文件,或者让它做一个 MCP 工具,在需要时即时启动子智能体。很简单。哦,还有个小窍门:MCP 工具会占用大量上下文,所以一个取巧的办法是启动一个拥有独立上下文额度的子智能体,让主智能体把工作交给它。这样基本上就能把可用的上下文额度翻倍、翻三倍,甚至更多。而且没错,子智能体的上下文可以跨轮次保留,不过你需要创建一个流水线运行器(见下文)。6. 创建流水线运行器。听说过 n8n 吗?它本质上就是一个流水线运行器。它功能很多,但也有一些局限和限制,有几件事我一直希望它能做到。后来我发现,用 Qwen 自己做个类似的东西非常容易。如果你想做一个用来搭建流水线的界面前端,就需要花些心思设计,但完全做得到。我做了自己的界面,不过过了一段时间,我厌倦了不停调整,于是直接照搬了 n8n 的前端,再自己定制,哈哈。另一个实用技巧:你可以在流水线运行器里按顺序运行多个智能体,但如果想让每个智能体都有独立的上下文,就需要确保在 llama.cpp 中启用了 cache-idle-slots。这样每轮都会切换 KV 缓存,把上一个缓存移到 CPU 内存中。具体还有一些细节,但 Qwen 能帮你搞定,直接问就行。尝试了各种自定义界面之后,我最终决定照着 n8n 的外观,做一个自己的版本。7. 创建模型启动器(能在 llama.cpp 中选择不同的模型/Jinja 模板)。这是我最常用的工具。它能让我从目录中选择任意模型,并设置参数。调满意之后,我就为这套配置创建一个别名。下次启动时,只需选择这个别名,就会使用该别名对应的参数启动模型。所以,只要我愿意,同一个模型可以有十种不同的参数配置;只需分别给它们起个别名。小窍门:我建议也把 Jinja 模板加到启动器里,这样就能为不同类型的模型选择不同的自定义模板。我给不同类型的模型做了各自的 Jinja 模板 https://preview.redd.it/8nzl8sjv4wvh1.png?width=1101&format=png&auto=webp&s=31c118f09cfefe5d2b8782317a3cbe99f55838fc 8. 安装、测试、复刻和/或重新构建网上的开源应用。我转用 llama.cpp,是因为 LM Studio 的提示词处理速度太慢,但我又不想费劲自己研究所有步骤,所以直接让智能体帮我下载并安装了 llama.cpp。从那以后我就一直在用它。它还可以修改构建版本、在 GitHub 上复刻仓库,以及做更多事情。例如,我当时正忙着做一个项目,但听说有几个新的 TTS 应用,就让智能体下载并安装 Moss 和 OmniVoice,生成几段音频,确认它们能运行,完成后再告诉我。当然,一切都运行正常。非常适合同时处理多项任务。9. 让智能体了解当前的时间和周围环境。你有没有用过会跟你争论日期的云端模型?或者希望模型知道自己快用完上下文了,从而自动开始撰写会话总结?你可以在会话开始时和每一轮交互时(最好两者都有),向智能体注入“元数据”,提供日期、时间、上下文长度、最大上下文容量、硬件和软件栈等信息,基本上你想给什么都行。有了这些,还能实现各种其他技巧。例如(这可能应该单独算作一项“你可以用 Qwen 做的事”,不过随便啦),我让智能体能够在触及上下文限制时,自行切换模型:启动会话时,我可以指定一个备用模型。因为智能体始终能看到上下文用量,当用量过高时,它就能自行切换到上下文容量更大的备用模型,全程不需要重启服务器。10. 给智能体配备一启动就会加载的记忆。我的智能体在每次会话结束时,都会写一份会话总结,记录我们讨论过的内容。你可以让启动流程或启动器在启动时,把不同来源的内容拼接到上下文里。例如,我的代码总会在启动时加载日期最新的会话总结,以及前一天的总结,让它大致了解最近发生了什么。你也可以扩展这个机制,加载任何你想要的其他文档,尽情发挥想象力。例如,我的智能体还会加载提醒事项,以及它在上一次会话结束时写下的个人反思(不过我现在已经不推荐反思了,因为我逐渐意识到它会污染上下文,这个改天再分享)额外加一条:(快写完时突然想起来了,觉得还是加上吧,因为说实话,这真的是最重要的事情之一)——构建你自己的智能体运行框架。大家都在讨论 pi、hermes 等等。我决定直接用 Qwen 做一套自己的。工作量确实大得多,但回报也好得多,因为你能学会这些系统的运作方式,并利用这些知识想出真正独特的解决方案。例如,我刚了解代理机制,就琢磨出了各种很酷的玩法,包括上下文压缩、历史记录修改、内容清理、Jinja 模板技巧、钩子等等。总之,希望这能给刚入门的朋友们一些启发。我建议从基础开始学,这样升级会更快。也要尽快让你的 Qwen 用上联网工具,让它能做研究、帮你解决问题。我还摸索出了一堆其他技巧,也许以后会另发一篇帖子分享,但我想,只要你能把这些搭起来并运行起来,就算走上正轨了。保重!Grunge https://preview.redd.it/5avp0volewvh1.png?width=1129&format=png&auto=webp&s=0fb9f82fde42d69ee4e61c9dbb6ffcdda856275b 附言——我是混老式论坛/DeviantArt 出身的,所以 Ctrl+B/I/U、Shift+L 这些快捷键随时待命,像这样爱用粗体的帖子,我已经写了二十多年了。100% 人工撰写。感兴趣的话,帖子底部有证据。特意提一句,只是因为帖子一旦写得有条理,通常就会招来那些喊“这是 AI 写的垃圾文”的喷子。
查看原文

相似文章

Qwen 3.8 是可靠的工作引擎

Reddit r/LocalLLaMA

本文重点介绍了Qwen 3.8 27B在AI编排设置中作为子代理的实际应用,强调了其与其他模型和工具协同工作的高效性。

Qwen3.6 35Ba3 已改变我的工作流程,甚至我使用电脑的方式

Reddit r/LocalLLaMA

一位用户描述了 Qwen3.6 35B 如何结合 'pi' 工具,彻底改变了他们的计算机工作流程,实现了通过自然语言控制操作系统和自动化任务执行。他们完全在本地通过语音消息成功构建了一个落地页,展示了该模型的实用价值。

Qwen 3.6 27B:本地开发的理想之选

Hacker News Top

Qwen 3.6 27B 被赞誉为强大的本地 AI 模型,在通用智能方面超越预期,适用于代码生成等实际任务,并能通过 llama.cpp 轻松运行。

Qwen 3.8 27B 用于实际的本地编程

Reddit r/LocalLLaMA

本文探讨了 Qwen 3.8 27B 本地 AI 模型是否能够处理实际的系统编程任务,例如使用 Rust 或 C++ 以及外部库构建 GTK4 或 Qt 6 应用程序。