@galoisextn: 天啊，这里只有机器人在传播垃圾内容，连一个关于图形的评论都没有。

X AI KOLs Following 2026/09/14 16:54 论文

meta byte-level-models token-models distillation ai-research model-training

摘要

Meta的一篇论文显示，字节级模型起初落后于令牌模型，但随着计算量的增加而超越它们，这通过蒸馏的1B模型在高达1万亿字节的数据上训练得到验证。

天啊，这里只有机器人在传播垃圾内容，连一个关于图形的评论都没有。

查看原文

查看缓存全文

缓存时间: 2026/09/14 17:30

天哪，这里全是水军机器人在刷垃圾内容，连一条关于论文图表的评论都没有！

elvis (@omarsar0): Meta这篇论文太炸了！

研究表明，字节级模型初始阶段落后于词元模型，但随着计算规模增长会实现反超。

该结论基于1B蒸馏模型的实验验证，训练数据量最高达1万亿字节。

为了从词元教师模型蒸馏出字节学生模型，他们采用了

相似文章

X AI KOLs Following

来自Meta的一篇研究论文表明，字节级语言模型最初逊于基于令牌的模型，但随着计算资源的增加，它们可以超越后者。这通过在高达1万亿字节上训练的精炼10亿参数模型得到展示。

X AI KOLs Following

一篇关于未来工作的讨论，探索字节级模型如何响应量化以潜在改进本地AI，基于一篇Meta论文，该论文显示随着计算规模增加，字节模型优于标记模型。

arXiv cs.CL

本文进行了一项大规模研究，比较蒸馏的字节模型和令牌模型，发现字节模型在更多计算资源下能达到更高的性能上限，并且比令牌模型更高效利用数据。

X AI KOLs Timeline

腾讯发布了Hy3，一个295B参数的MoE模型，每个token激活21B参数，在代理编程和工具使用任务上与更大的模型相竞争，并提供了Apache 2.0权重。

X AI KOLs Timeline

一篇介绍原子任务图（ATG）的帖子，它是一种基于 DAG 的执行载体，通过将计划结构存储在图中而非线性文本中，让一个 8B 的小模型在复杂代理任务上超越 GPT-4，减少了上下文膨胀，并实现了局部故障恢复。