标签
由 Roy van Rijn 构建的交互式可视化指南，解释了大语言模型的工作原理，从令牌化到注意力机制、Transformer 模块以及文本生成。
本文引入了一个使用两种程序生成语言的体外框架，用于研究语言模型中的跨语言泛化，发现分词对可复用子结构的保留能力对于跨语言能力迁移比词汇相似性或数据平衡更为关键。
BrickAnything是一种自回归框架，通过点云和结构感知树标记化，从多种3D表示中生成物理可构建的砖块结构，确保几何保真度和结构稳定性。
本文介绍了SAPS（合成算法预测系统）框架，认为现代AI系统不是在思考，而是在分词并计算统计模式，并阐明了人工系统与合成系统之间的关键区别。
一篇深入探讨现代密集Transformer内部工作原理的博文，涵盖YaRN（位置信息）、混合注意力（实现160k上下文长度）、soft capping、QK归一化，以及Transformer数学（包括FLOPs/Token公式和集群规模估算）。
开发了一个深度学习框架，用于分析从拉丁语到罗曼语族的语法性别演变，重点是利用词汇和上下文分析处理低资源历史场景。
LLaVA-OneVision-2 引入了编解码流分词和窗口注意力机制以实现高效的视频理解，在包括视频、空间和跟踪任务在内的多个多模态基准测试中取得了最先进的性能。
本文提供了关于现代大型语言模型（如ChatGPT和Claude）从零开始构建的全面逐步解析，涵盖了数据收集、分词、Transformer架构、训练、对齐和部署。
一篇教育性推文串，解释了理解和从头构建LLM架构的11个关键课程，涵盖token、嵌入、注意力、位置编码、数据质量和常见误解。
本文提出了一种针对专业领域LLM文本摘要的参数高效词表适配方法，通过扩充预训练分词器中的领域专用词元并选择性替换训练不足的词元，将训练时间减少35-55%，参数数量减少高达37%。
Y Combinator 将于周四在纽约市举办金融科技欢乐时光，邀请专注于稳定币、代币化、金融人工智能、代理商务和预测市场的初创公司。
Dywave 是一个面向物联网传感信号的动态分词框架，利用基于小波的层次分解将分词与语义事件对齐，在五个真实数据集上实现了高达12%的准确率提升和75%的输入分词长度缩减。
本文提出了一种基于微积分的框架，利用一阶和二阶导数检验来估计端到端自动语音识别系统的最佳词汇量超参数，并在Librispeech语料库上提升了性能。
本文介绍了 MedTPE，一种针对大语言模型电子健康记录的高效无损提示压缩方法，可显著降低临床预测任务中的词元长度和推理延迟。
本文通过训练近1300个模型，系统推导了压缩感知的神经缩放定律，证明了广泛使用的每参数20个词元的启发式方法是由特定分词器造成的。作者提出了基于字节的分词器无关缩放定律，为跨多样语言和模态的计算高效训练提供了新框架。
本研究探讨了“文本恐怖谷”现象，即随着词边界破坏程度的增加，大语言模型（LLM）在信息检索任务中的表现出现非单调性下降。作者提出了“模式转换假说”以解释这种U型性能曲线，并证明了该假说与现实世界中噪声文本输入的相关性。
MiniMax 发布技术博客，深入分析其 M2 系列大模型在无法输出特定人名背后的系统性词表退化问题，揭示了预训练与后训练数据覆盖脱节导致的参数偏移，并提出了通过全量合成数据进行修复的有效方案。
一篇博客文章探讨人类的打字习惯（如拼写错误、速记表达、填充词和空格）如何影响OpenAI和Claude分词器的Token计数，并指出常见的拼写错误可能会增加Token使用量和成本，而不会改变实际语义。
# 分词失败、分布偏移及针对性缓解策略 来源：[https://arxiv.org/html/2604.16787](https://arxiv.org/html/2604.16787) ## 当非正式文本导致自然语言推理失效：分词失败、分布偏移及针对性缓解策略 ###### 摘要 我们研究了在将四种转换操作应用于 SNLI 和 MultiNLI 时，非正式表层形式如何降低 ELECTRA-small（14M）和 RoBERTa-large（355M）的自然语言推理准确率：俚语替换、表情符号替换、Gen-Z 填充词，以及它们的