tokenizer

Claude Sonnet 5 可能于今日晚些时候发布，配备新的分词器、高分辨率视觉，并以 Sonnet 价格提供接近 Opus 的性能作为卖点，但可能不会超越 Opus 4.8。

介绍了BrainG3N，一种用于3D脑部MRI潜在扩散的双用途分词器，它使用冻结的掩码自编码器（MAE）编码器生成临床信息丰富的嵌入表示，并使用CNN解码器进行重建，在23个任务的基准测试中达到了最先进性能，并实现了可控生成和纵向预测。

quicktok 是一个快速且精确的 BPE 分词器，用 C++ 编写，与 tiktoken 字节一致，比现有替代方案快 2–11 倍。支持 cl100k、o200k、GPT-OSS、Llama-3 和 Qwen2.5/3 编码器。

介绍了一个名为 llm.istanbul 的 WebGPU LLM 工作台，可在浏览器中训练小模型、训练分词器并生成文本。无需服务器，完全本地运行。

本文提出UniTok，一种将连续时间序列转化为离散标记的通用分词器，以及UniTok-FM，一个基于下一标记预测预训练的基础模型。该模型支持零样本和提示增强预测，以及通过无需训练的上下文推理实现少样本生成和分类——这是以往工作未能实现的能力。

MiniCPM5-1B 是 OpenBMB 推出的一款新型小语言模型，据称是从头构建的，拥有自己的分词器和独特行为，作为一款功能强大的 1B 模型引发了热议。

此Pull Request为llama.cpp添加了MiniCPM5分词器支持，扩展了该工具对MiniCPM模型系列的兼容性。

SupraLabs 发布了 Supra-50M，一个紧凑的 5000 万参数因果语言模型，包含基础版和指令版，基于 fineweb-edu 的 200 亿个 token 训练，在多项关键基准测试中达到了可与 GPT-2 和 SmolLM 等更大模型竞争的水平。

ztok 是一个用 Zig 编写的高性能多线程分词器库，支持多种格式（tiktoken、HF、SentencePiece 等），速度比现有方案快 2–5 倍，适用于 RAG 分块和数据集分词。

HuggingFace发布了Carbon，一个DNA模型，比之前的最先进模型（Evo2）快275倍，使得在单个GPU上不到两天就能处理整个人类基因组。该模型使用了独特的tokenizer，将序列分割成6碱基的块，同时保持单碱基分辨率，并附带一个交互式演示。

一种通过重写分词器和MLM微调来使嵌入模型感知数字顺序的技术，在数字排序基准上达到59%的准确率。

MAML is a novel multi-modal AI model that unifies understanding of chemistry, genetics, and proteins, outperforming specialized models on 11 drug discovery benchmarks, promising to accelerate pharmaceutical research and improve success rates.

Andrew Ng的时事通讯涵盖了近期AI发展，包括针对数据中心的攻击、各种尺寸的Qwen3.5的发布、DeepSeek与华为的合作、Apple的多模态分词器，以及对AI驱动的就业不确定性和地缘政治风险的反思。

Kronos 是一个面向金融K线序列的开源基础模型，基于全球超过45家交易所的数据训练而成。它采用专用分词器和仅解码器Transformer架构，已被AAAI 2026接收。