标签
一篇博客文章,介绍作者如何对一个自回归语言模型进行后训练,使其能够自动补全并混搭来自 Dwitter.net 的 140 字符 JavaScript“Dweet”作品,灵感源自 HellMood 的《Memories》等经典演示场景中的极限代码体积特效。
bootgpt 是一个完全容纳在 510 字节 MBR 中的神经网络运行时,加载下一扇区的 11.5KB int8 量化字符级模型,在 386 的 16 位实模式下无操作系统运行,用于在开机时生成虚构的 Linux 启动日志。
DiffuSpace 发布了 Clover-35B-A3B-Preview,这是一款开源的块扩散语言模型,采用 350 亿参数的 MoE 骨干网络(约 30 亿激活参数),支持 128K 上下文,在 GB300 上的生成速度达 680 token/秒,在 SWE-bench Verified 上得分为 73.6%,并采用 Apache 2.0 许可证。
Metis-1.6 技术报告介绍了 Praxis(2.94B)和 Logos(10.23B)这两个 MoE 语言模型,它们采用混合 Mamba-2/注意力架构,由一名研究人员使用约 1.02T 个 token 训练而成,在数学性能上达到帕累托最优,同时公开详述了训练中的失败及修复方法。
该论文介绍了拉丁语 Modern BERT(LAMB),这是一种基于 ModernBERT 的编码器,采用融入形态学信息的掩码策略,在超过 740 亿个拉丁语词元上进行预训练;同时还介绍了两个新的拉丁语语料库(Acervus 和 Corpus Trinum),并表明该模型在 17 项基准子任务中的 16 项上优于 15 种现有编码器。
南北阁发布了 Nanbeige4.3-33B,这是一款采用 Apache 2.0 许可证、拥有 512K 上下文窗口的教师模型,旨在训练更小的智能体模型,例如即将推出的 3B 版本。据报告,该模型在 Terminal-Bench 2.1 上表现强劲,但在 SWE-Bench Pro 上的表现则有好有坏。
Hugging Face 发布了 Carbon-X,这是一个开源 DNA 语言模型,能够用通俗英语回答有关基因序列的问题。在 DNA 基准测试中,它的得分达到 66.7%,接近 GPT-6.1 Sol 的水平,而每道题的成本仅约为其 1/1800。该模型可在单块 80GB GPU 上运行,有望大幅降低医院和研究人员进行大规模变异分类的成本。不过,该模型尚未经过临床验证。
Carbon-X 是一个开放的 148 亿参数仅解码器模型,通过共享的 6-mer 词元流联合处理原始 DNA 和文本,在五项 DNA 基准测试中取得了 66.7% 的平均成绩——几乎与 GPT-6.1 Sol 持平——其权重采用 Apache 2.0 许可证,可装入单张 80GB GPU。
Recursive 在 Hugging Face 上发布了 Flint,这是一款总参数量为 400 亿、激活参数量为 25 亿的混合专家编程语言模型,在 SWE-bench Pro v2 和 SWE-bench Verified 上的得分分别为 89.7% 和 74.2%,并提供 SGLang 推理服务套件和量化版本。
Mercury 3 是目前发布的最强扩散式大语言模型,宣称以 1,000+ tokens/s 的速度运行,比竞争对手快 4–8 倍,并在性能上超越 GPT-6 Luna 和 Claude Haiku 5.5,实现 40 倍扩展而不降低速度。
XtrCom 发布了 XT-Luna 1B v1,这是一个基于 MiniCPM5 1B 面向智能体(agentic)和编码任务微调的模型,并在模型卡中提供了与官方 MiniCPM5 1B SFT 以及 Qwen 3.5 4B 的对比基准测试。
DeepSeek V4.1 Flash (1017) 正式发布,成为新的开源权重模型领跑者,在当前开源大模型基准测试中位居第一。
Gen-Verse 发布了 DiscoveryRSI-27B,一个 27B 指令微调语言模型,用于递归式科学假设的开发、评估、修订与归因,并配套 DiscoveryRSI 研究智能体框架,支持生命科学研究工作流。
DeepSeek V4.1 Flash 1017 已上线 OpenRouter,提供 API 定价与可用提供商信息。
Muse Glimmer 是一款拥有 300 亿参数的开源多模态智能体模型,通过 4 位量化可在消费级硬件上本地运行多步推理与工具调用,并在同等规模的智能体基准测试中超越 Gemma4-31B 和 Qwen3.6-27B,现已采用 Apache 2.0 许可证发布。
Stanford HazyResearch 提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的粗到细并行文本生成方法,据称比强扩散基线快 10–31 倍且训练 tokens 更少;不过实验规模仅到 725M 参数,能否扩展至通用 LLM 规模仍待验证。
首尔大学团队提出KBS(韩国基准测试套件),包含Ko-ARC、Ko-GSM8K等六个基准,共9,396个条目,采用非纯翻译方式构建韩语评测集,并评估了韩国自研模型、多语言开源模型及闭源API模型,指出评测结果高度依赖任务构建、评分规则与提示方式。
Mr.Chatterbox-2.7B-Chat 是一个完全基于 1800-1899 年英国印刷文本从零训练的 2.7B 语言模型,并用真实维多利亚时代语料微调以维多利亚绅士口吻对话,其微调数据 97.2% 为真实 19 世纪原文。
Muse Wonder(high)在扩展版 NYT Connections 基准测试中取得 93.4 的成绩,超过 Muse Spark 1.3(high)的 85.1,但其成本在受测模型中位居最高之列。