适合 <2000 token 的轻量级摘要小模型

Reddit r/LocalLLaMA 新闻
summarization slm hallucination prompt-engineering model-recommendation

摘要

一位新手在尝试用 Qwen2.5-7B-Instruct 给员工笔记做摘要时遭遇幻觉，现求助适用于 2000 token 以内、能合并同类标签的小模型及提示策略。

新手求助：我想给员工笔记做自动摘要。每次有 10–50 条笔记（约 3000–15000 token），已打好标签，需要汇总成 200–1000 token 的通用报告。模型要能判断“过于细节”的内容，并把同一标签下的多条笔记归纳成一类。 我试过 [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) 加提示词，结果幻觉严重，降 temperature 也没用。针对这种任务，有什么模型和提示策略推荐？
查看原文

相似文章

SLM的消亡？

Reddit r/LocalLLaMA

作者反思了27B以下的小语言模型是否正被Qwen 3.5和Gemma 4等更大模型所掩盖，并询问社区中有哪些适合智能体编码任务的高性能SLM。

训练了我的第一个小型语言模型

Reddit r/LocalLLaMA

作者训练了一个小型语言模型来替代Gemini Flash进行摘要任务，达到了97%的准确率和0.06秒的延迟，适合在内部应用中部署。