[新模型] SupraLabs 刚刚发布了 supra-title-FFT-preview，115K 样本，几乎是我们的首个聊天标题数据集的10倍

嘿，r/LocalLLaMA！继 Supra-Title-350M-exp（我们的首个聊天标题生成模型）之后，我们发布了 supra-title-FFT-preview，该模型在更大、更干净的数据集上进行了训练。🤗 supra-title-FFT-preview 变化内容 我们的首个聊天标题模型在12K样本（chat-titles-12K）上训练，结果显示：在常见对话模式上表现尚可，在小众话题上表现较弱。本次发布的新模型在来自新过滤数据集 chat-titles-filtered-115K 的115K样本上训练。模型 数据集大小 Supra-Title-350M-exp 12K样本 supra-title-FFT-preview 115K样本 相同的基座，相同的任务，只是覆盖范围大大增加。根据我们的命名惯例，这是最终非预览版本发布前的最后一个检查点。规格 规格 值 基座模型 LiquidAI/LFM2.5-350M-Base 参数 ~0.4B 精度 BF16 训练 全微调（FFT），非LoRA 框架 Unsloth 任务 单一用途：聊天标题生成 仍然不需要系统提示。发送用户消息，返回标题。快速开始 Transformers 管道： from transformers import pipeline pipe = pipeline("text-generation", model="SupraLabs/supra-title-FFT-preview") messages = [{"role": "user", "content": "bruh my wifi keeps disconnecting every 10 minutes"}] print(pipe(messages)) 或直接加载： from transformers import AutoTokenizer, AutoModelForCausalLM import torch MODEL_ID = "SupraLabs/supra-title-FFT-preview" tokenizer = AutoTokenizer.from_pretrained(MODEL_ID) model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16, device_map="auto") messages = [{"role": "user", "content": "what's the easiest way to make fluffy pancakes?"}] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt" ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)) vLLM（OpenAI兼容服务器）： vllm serve "SupraLabs/supra-title-FFT-preview" curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "SupraLabs/supra-title-FFT-preview", "messages": [{"role": "user", "content": "What is the capital of France?"}] }' Apache 2.0。这是一个预览检查点，在我们锁定最终版本之前，关于边缘情况和奇怪标题的反馈确实非常有用。