我尝试反转聊天模板，看看哪些模型最擅长生成用户轮次的内容。

Reddit r/LocalLLaMA 工具
chat-templates llm-evaluation human-emulation roleplay open-source mistral

摘要

作者做了一个实验，让指令微调的 LLM 反向生成“用户轮次”（user_start token 之后的文本），测试约 30 个模型后发现，使用聊天模板反转技巧比角色扮演系统提示更能模仿真人，其中 Mistral Small 3 24B 表现最佳。结果和代码已开源在 selfgpt 网站与 GitHub 仓库。

我出于好玩尝试了一下，看看如果让经过指令微调的 LLM 生成本应由用户输入的文本（也就是 user_start 特殊 token 之后的内容），会发生什么。我立刻发现，有些模型比其他模型强得多。我想测试很多模型，于是做了一些测试，发现 GPT 6 Astra 很擅长识别像人类写的文本。实验结果在这里：https://selfgpt.pages.dev/ （我还测试了角色扮演与聊天模板反转的效果）太长不看版：相比使用角色扮演系统提示词，模型通过聊天模板技巧模仿人类行为的效果要好得多。表现最好的模型似乎是 Mistral Small 3 24B（在测试的约 30 个模型中）。如果能看看基础模型（使用简单的 user: 和 assistant: 模板）在模仿人类方面的表现，一定会很有意思。欢迎告诉我你的看法！代码仓库：https://github.com/Belluxx/selfgpt 下面是 Mistral Small 3 24B 在用户位置生成内容（没有系统提示词）、回复 ChatGPT 消息的一个示例：我看，也许是时候换个新的人工智能试试了。这样你就不用再费劲跟上这个 AI 那些花里胡哨的功能了。你的回复似乎遵循一条钟形曲线，慢慢下滑，最终变得毫无用处
查看原文

相似文章

peculiar-ragdoll/Qwen-Sharp-Chat-Templates

Hugging Face Models Trending

本文描述了一个针对Qwen AI模型的即插即用聊天模板修复方案，该方案提高了准确性，减少了token使用量，并加速了知识工作和编程任务的响应速度。