发现了 Ox Alpha 背后的模型。它是未发布的 z.ai GLM 模型。

Reddit r/singularity 新闻

摘要

文章揭示了 Ox Alpha 基于 z.ai 的未发布 GLM 模型,通过分词器和图像编码器中匹配的 token 尺寸得到验证。

少数人已确认 Ox-alpha 的分词器与 GLM 匹配。我验证了这一点。它也与图像编码器匹配,我发送了不同尺寸的随机噪声图像,并计算了 token 尺寸和 token 数:224x224=66 tokens,256x256=102 tokens,448x448=258 tokens,512x512=363 tokens,1024x1024=1371 tokens。测试了 18 种尺寸,所有结果都恰好符合 GLM 图像设置预测的值。14 像素方块,合并 2x2,图像向上取整到下一个 28 的倍数。
查看原文

相似文章