tokenization

CZ 评论称，更多国家将意识到，发行本币稳定币能够提振对本国货币和政府债券的需求。他举例称，汇丰银行的港元稳定币 RedCoin 在推出首周内，用户数便达到 50,000，流通规模达到 8,775 万港元。

Matt Dancho 解释了为什么理解分词是转向 AI 工程的数据科学家必备的技能，重点介绍了词元如何影响上下文窗口、成本、嵌入和多语言表现，并提供了一本分词手册和一场免费工作坊的链接。

美国证券交易委员会（SEC）发布了2027财年检查优先事项，将先进AI（包括“超级智能”）以及代币化证券列为重点监管对象，涵盖市场基础设施、网络安全和投资者保护等风险领域。

SpecSlot 是一种像素空间 rectified-flow Transformer，通过将空间锚点扩展为分配不相交 DCT 系数带的多个槽位，并仅让最低频槽参与全局注意力，在不增加计算成本的情况下提升图像细节生成质量。

Cartesia 发布了关于分层网络（H-Nets）的研究博客，展示了无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的计算量和数据超越了规模匹配的开源模型，并在代码等领域的表现出色。

Cartesia 的 From Tokens to Bytes 系列第一篇探讨了 Hierarchical Networks（H-Net）的扩展规律，展示了学习式 tokenization 带来的 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的算力和数据超越了相匹配的开源模型，并呈现了 in-context tokenization 等新行为，以及在生物、视觉等跨模态任务上的潜力。

ARMOR-DP 是一个面向多语言 BabyLM 的模块化框架，可根据各语言的验证损失动态调整语言采样。结果表明，表现最弱的语言会在训练过程中发生变化，且动态保护优于固定保护中文的基线方法。

该论文提出了一个统一的六维分析框架，系统综述了2017–2026年大模型训练全流程（数据与分词、预训练、SFT与偏好对齐/强化学习）的395篇核心文献，并揭示了跨阶段效应与多个开放问题。

AdaptTok-Indic 提出一种面向印地语系语言的脚本感知自适应分词方法，结合 Unicode 归一化预处理、显式印度语连字处理和基于脚本路由的字节级边界预测，在孟加拉语和印地语上取得比 SentencePiece BPE 更低的 token 生长率和更好的下游表现。

该论文表明，Llama-3 和 Qwen3 中仅匹配字母的预分词器正则表达式，使尼泊尔语的词元用量产生了无法消除的约 2.2 倍开销，并提出了一种保持英语处理方式不变的正则表达式修复方案。该方案结合 3.2 万条新增合并规则，将这一开销降至 1.01 倍，并通过继续预训练实验进行了验证。

该论文挑战了离散视觉令牌必然存在语义损失的假设，提出因子化向量量化（Factorized Vector Quantization），在多模态理解上达到与连续视觉表示相当的水平，并在离散表示模型中取得最先进性能。

该论文提出了共同支持集蒸馏（Common-Support Distillation，CSD），这是一种基于 logits 的统一跨分词器知识迁移框架。该框架在教师模型与学生模型之间构建共享支持集，并通过单一目标匹配由此诱导的分布，在多种教师—学生模型配置下均优于现有的跨分词器蒸馏方法。

该论文指出，现有的时间序列分词策略（分块分词和相位分词）会引入频谱泄漏和混叠等频谱失真，并提出了 TimeFT——一种无参数、几乎无失真的基于频率的分词器，可直接替换现有分词器，并提升预测、分类和异常检测任务的性能。

《自然》期刊的一篇论文提出了“字节化”（byteification）方法，仅需不到常规预训练预算的 1%，即可将子词级语言模型转换为字节级模型，由此生成的 Bolmo 7B 等模型在保留子词级模型性能的同时，超越了此前的字节级基线模型。

有人开源了 KRONOS 模型，能把每根 K 线当作 token 来预测下一根 K 线（预训练用了 120 亿根 K 线），并可 100% 免费接入 Claude Code 与 TradingView，搭建完整的 AI 加密货币交易与预测系统。

论文提出 Mediator——一种离散、本体无关的 EHR 分词器，可将任意临床概念映射到共享的向量量化码本，使封闭词汇模型可迁移至 eICU，零样本任务的 AUPRC 相对提升 29%。

Thunder-DeID+ 提出一种边界感知的韩语去标识化方法，通过改进的 BPE 分词器与三层 PII 分类体系，将法院判决书上的 Strict Typed F1 从 0.76-0.77 提升至 0.87-0.88，并在微调后达到 0.93，实现向更广泛敏感文档的迁移。

这篇论文通过在他加禄语上的受控实验（将MorphAustro-Tok与BPE及打乱形态素的对照组进行比较），发现形态感知分词确实能提升机器翻译效果，但形态正确性本身并不带来收益——增益仅来自分词粒度与一致性，而非语言学上正确的切分。

该论文指出，跨语料的层级消融实验中出现的“深度专门化”效应可能只是目标token分布差异（如空白符）造成的假象，并提出在报告专门化结论前应按token类型分解并进行混合匹配验证。

该论文提出了 Tokka-Bench，一个用于在100种自然语言和20种编程语言上评估分词器的开源框架，采用五项指标进行评测。研究在包括 GPT-4、Llama 3.1、Gemma 3、Qwen3 和 Kimi K2 在内的七个 BPE 分词器上发现，词汇分配策略比原始词汇表大小更为重要。