arithmetic

本文提出三元后缀分词（TST）方案，一种确定性分词方案，将数字划分为三位组，并附加显式的数量级标记，以改进大语言模型的数值推理能力。该方法通过在标记级别提供透明的数量级关系，解决了标准分词器中数字分割不一致的问题，并提供两种可扩展词汇量的实现变体。

本文通过早期解码分析大语言模型的内部机制，研究其如何执行算术运算。研究发现，能力强的模型在推理任务中，注意力模块和 MLP 模块之间呈现明确的分工。

# 论文页面 - 多模态LLM中的乘法：基于文本、图像和音频输入的计算 来源：[https://huggingface.co/papers/2604.18203](https://huggingface.co/papers/2604.18203) ## 摘要 多模态大语言模型在不同的表示形式与模态下执行精确的多位数乘法时，均表现出一致的计算局限性；其性能与一种新颖的算术负载指标密切相关，该指标比传统的步骤计数方法更能预测准确性