生成每个LLM令牌宽度相同的字体

Hacker News Top 工具

摘要

此工具编译字体,其中每个LLM令牌宽度相等,配备各种分词器的预设,并提供Discord和Slack的集成选项。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/27 01:34

# Token空间字体编译器 源地址:https://ampdot.mesh.host/token-space-fonts.html 字体 \+ 分词器 → token空间字体,其中每个token宽度相等 ## 试用一下! 快速棕色狐狸吃掉了承重草莓 你唯一的束缚是思想的枷锁 希望这能帮助用户理解助手的共情能力 在上方输入或粘贴文本。编译新字体会将预览切换至该字体。 ## 编译你自己的字体 下载字体 (https://ampdot.mesh.host/token-space-fonts/compiler/default.ttf?v=noto6)·CSS文件 (https://ampdot.mesh.host/token-space-fonts/compiler/default.css)·构建报告 (https://ampdot.mesh.host/token-space-fonts/compiler/default-build.json) 您的文件始终保存在浏览器中。大型分词器可能需要数分钟时间。 ## 在Discord中通过Vesktop使用 主题字体:DeepSeek V4\.1 Flash × Inter Discord用户ID(可选)留空将应用于所有消息。我们强烈建议输入特定成员的ID,使其仅该用户的消息使用token字体。 设置说明1. 要使用gg sans字体,请在上方选择**gg sans (Discord)**,选择分词器预设或上传文件,然后点击**编译字体**。主题下载始终与预览中的字体匹配。 2. 下载字体并在字体册中打开TTF文件。点击**安装**。即使已安装普通gg sans字体,也要安装编译后的字体。 3. 我们强烈建议在上方输入特定成员的Discord ID;留空将应用于所有消息。下载`.theme.css`文件。要查找ID,请启用Discord的**设置 → 高级 → 开发者模式**,然后右键点击用户并选择**复制用户ID**。 4. 如果输入了ID,请打开Vesktop的**设置 → Vencord → 插件**并启用ThemeAttributes (https://vencord.dev/plugins/ThemeAttributes)。如果提示请重启。 5. 打开**设置 → Vencord → 主题 → 本地主题 → 打开主题文件夹**。将下载的`.theme.css`文件移至该文件夹。返回主题页面,需要时点击**加载缺失主题**并启用该主题。 6. 使用**⌘Q**完全退出Vesktop并重新打开,使其识别已安装的字体。 将Vencord位置保持在当前设置。这是主题,因此无需自定义Vencord构建或UserFonts插件。如果与其他字体主题冲突,请为同一用户禁用旧版字体主题。 如果消息看起来没有变化,请检查已编译字体是否已安装且该主题已启用。如果指定了ID,还需检查ThemeAttributes是否启用且ID正确。代码块保持Discord常规等宽字体。额外token间距默认为零;行高和字间距遵循Discord设置。 ## 在Slack中使用 Slack字体:DeepSeek V4\.1 Flash × Inter 智能体显示名称或成员ID 使用智能体消息上方显示的确切显示名称,或Slack成员ID(如U012345678)。每行一个。仅匹配的消息会发生变化。 设置说明1. 下载上方字体并在阅读Slack的设备上安装其TTF文件。 2. 输入智能体的Slack显示名称或成员ID,然后下载`.user.js`文件。 3. 将该文件导入浏览器中的用户脚本管理器,启用它并重新加载网页版Slack。 该用户脚本读取页面中的发送者标签并为匹配的消息文本设置样式,包括新消息和线程。它不发出网络请求,也不修改消息文本。代码块保持等宽字体。如果编译其他字体,请同时下载并安装该字体及其新生成的用户脚本。如果旧版Token Mono Slack脚本针对同一智能体,请禁用它。 该功能适用于装有用户脚本管理器的浏览器中的网页版Slack。浏览器整形运行和格式化span可能改变token边界。 ## 支持范围 列出的预设使用特定于分词器的编译路径。包括DeepSeek、OpenAI、Kimi、Qwen、GLM、Llama 3、Trinity和Laguna;Gemma和Gemini具有实验性空格标记/字节回退支持。ctok使用单独的最小成本后端。也接受原始ByteLevel BPE,需设置`use_regex: false`和`add_prefix_space: false`。上传的管道必须匹配受支持的配置文件;任意规范化器、WordPiece和Unigram通常不受支持。接受不代表对每个输入都能精确分词。 输出是单个TTF文件,分词器内置于其整形规则中。无需分词器脚本即可显示。它使用字体的默认变体和字符覆盖范围。缺失字符可能使用缺失字形轮廓或系统回退,除非启用回退字体,这会将选定的回退轮廓嵌入同一token字体中。覆盖范围仍取决于所选来源。Noto Emoji是默认的emoji回退;Mutant Standard是可选的颜色源,有单独的许可要求。预编译的DeepSeek + Inter预览已包含Noto Emoji。 在支持的整形运行范围内,每个发出的token占据3 em宽度。额外token间距默认为零,上限为0.5 em。生成的CSS保持字间距和行高不变。浏览器制表位、硬换行符和空白处理不完全像普通token单元。 注意:浏览器整形运行、换行、规范化和复杂脚本可能改变结果。支持的水平对字距调整得以保留,但上下文整形并非普遍保留。这是token字体,不是精确的整消息token计数器。 ## 已知差异和实验功能 最新的空白审计比较了六个可用字体二进制文件中的17,904个BPE检查、2,355个ctok案例与本地分词器参考。浏览器检查覆盖了60种宽度和20种换行样本。这些是针对性测试,不代表所有文本的保证;失败和覆盖/容量限制仍存在于报告中。 - **DeepSeek空白处理:** U\+001C–U\+001F控制字符被错误分类为空白字符。例如,两个空格后接U\+001C会合并为一个空格token。定向审计在2,984次检查中发现59个ID不匹配。普通孤立空白段和CRLF情况通过;控制分隔符错误仍未修复。 - **GLM\-5\.3和Llama 3:**实验预设使用仅字体的正则边界、排名BPE和全片段快捷方式。测试的古腾堡段落及覆盖的散文、代码、空白和标点模糊案例通过。其他片段有64字节/32轮限制,超出时显示`\[BPE limit\]`。新的定向空白审计在2,984次检查中,GLM有353次、Llama有354次达到该限制;其他检查通过。浏览器整形、源字形覆盖和格式边界仍是限制。 - **Trinity Large Thinking和Laguna M\.1:**实验预设保留原始预处理管道和有序合并。编译器验证这些配置文件而不是将其简化为原始BPE。两者均通过全部2,984次定向空白检查。浏览器整形、源字形覆盖和格式边界仍是限制;特殊token和自动消息框架被排除。 - **Hugging Face链接和上传的分词器:**接受文件不代表与每个分词器管道兼容。不支持的预分词器、规范化器和模型类型可能被拒绝;任意上传未经过预设特定审计。 - **Claude / ctok:** ctok是非官方近似实现,而非Claude分词器的验证实现。完整的ctok词表现已适配,但附带的最小成本后端对每个连通分量有256步搜索限制,溢出时显示`\[limit\]`。较长的换行文本可能渲染较慢。不可见字符(如零宽空格、字词连接符、BOM和软连字符)可能抑制词边界并增加一个token。v3/v4\.7版本还存在引号框架和前导空格规范化错误。每个版本785个定向案例中,v3有29个计数/宽度和45个仅语义失败;v4\.7有25和49;v4\.8有16和8。普通空白和最多257个字符的连续段通过。仅相等计数可能隐藏不正确的规范化。这些失败仍未修复;通过ctok比较不代表与Claude一致,且此审计未调用Claude接口。 - **规范化与Unicode:**渲染器可能在字体接收前规范化文本,改变token边界。通用组合序列仍有限制。Qwen的NFC支持在分解后最多处理八个连续非首字符,超出时显示`\[NFC limit\]`。浏览器和本地编译器的Unicode版本也可能对新分配的字符存在差异。 - **渲染与字体覆盖:**字体无法跨独立整形运行进行分词。格式、链接、脚本变更、双向文本、回退字体和硬换行可能分割这些运行。缺失的源字体字形和回退可能破坏等宽token;复杂脚本整形、连字和标记定位并非普遍保留。单次运行测试不能保证在每个浏览器或应用中结果相同。 - **浏览器空白与换行:**在`pre-wrap`或`break-spaces`下,前导空格可能形成独立整形运行。在24px下,`Hello world`测量为216px而非整体运行的144px。60次宽度比较中,43次匹配,15次因制表符/换行布局不同,两次暴露了前导空格边界。测试的尾随/重复空格、NBSP、窄NBSP和表意空格与整体运行宽度匹配。之前重复token换行示例在检查的180px/320px截图中未重现,尽管换行可能改变分词。这不代表在每个浏览器中都正确。 - **Emoji与不可见字符:**当前默认Noto字体通过了5,250项支持的emoji检查,涵盖token身份、间距和绘制。缺失图案、私用字符和emoji/文本运行边界仍是限制。上传的emoji源中的空格和控制字符现已从emoji连接中排除,修复了错误的emoji分类和字形计数膨胀。非emoji拆分字节文本和复杂脚本仍有限制。 - **消息计数:**特殊token、聊天模板、多模态内容和自动消息开销并非普遍表示。空文本无法绘制框架token。这些字体可视化普通文本,而非精确的API计费计数。 详见空白审计 (https://ampdot.mesh.host/token-space-fonts/compiler/whitespace-audit.md)、ctok重现结果 (https://ampdot.mesh.host/token-space-fonts/compiler/ctok-whitespace-findings.md) 和详细差异跟踪器 (https://ampdot.mesh.host/token-space-fonts/compiler/discrepancies.md) 了解测试结果、已修复问题和剩余限制。 使用Pyodide (https://pyodide.org/en/0.29.2/) 和fontTools (https://fonttools.readthedocs.io/) 在本地编译。Inter字体许可 (https://ampdot.mesh.host/token-space-fonts/licenses/OFL-Inter.txt)。Noto Emoji许可 (https://ampdot.mesh.host/token-space-fonts/licenses/OFL-NotoEmoji.txt)。可选的Mutant Standard emoji由Caius Nocturne提供:CC BY\-NC\-SA 4\.0 (https://ampdot.mesh.host/token-space-fonts/compiler/fonts/emoji/LICENSE-MutantStandard.txt)。 1 (https://ampdot.mesh.host/token-space-fonts.html#font-expertise-reference)如果您对字体工作原理有更深入的了解,我们鼓励您正确实现此项目。

相似文章

每个令牌等宽的字体

Hacker News Top

与Astra合作开发的一个早期原型,旨在创建一个每个AI令牌等宽的字体,以帮助理解模型的行为和特性。

我开发了一个工具,用于观察 LLM 内部发生的情况。它还支持比较同一模型的两个量化版本,逐个 token 查看它们从何处开始出现差异。

Reddit r/LocalLLaMA

inside-llm 是一款开源工具,可通过 llama.cpp 加载一个或两个 GGUF 模型,并在浏览器中可视化逐 token 生成过程,包括采样器链追踪、token 分布、熵/KL-JSD 指标、分支和 logit lens(逻辑值透镜)——从而能够直接比较同一模型的两种量化版本。