我做了一个浏览器工具，用来可视化小型大语言模型如何选择下一个词，并查看它正在关注什么 [P]
摘要
一款基于浏览器的工具，完全在客户端运行 SmolLM2-135M（ONNX、int8），用于可视化下一个词元的概率和注意力权重，并演示注意力汇聚（attention sink）现象。它提供开源 GitHub 仓库和在线演示，甚至可以在移动设备上运行。
我做了个可视化注意力的小玩意儿。它完全在浏览器里运行 SmolLM2-135M（onnxruntime-web、int8、无需服务器，在我手机上也能用）。你给它一个提示词，它就逐个生成 token。每一步都会显示下一个 token 的候选项及其概率，还会用连线画出当前 token 对前面各个 token 的注意力，并标注权重。你可以点击任意一个词，查看它的注意力实际分配到了哪里，并按权重排序。我在这个项目中学到的一个概念是注意力汇聚（attention sink）。一开始看起来像是出了问题，因为所有 token 都对第一个 token 投入了极高的注意力。我以为是代码里的 bug，但深入查了一番后，才发现原来是注意力汇聚现象 😅 Github 仓库：https://github.com/talhatahir-10xe/attention-galaxy 在线演示：https://talhatahir-10xe.github.io/attention-galaxy/
相似文章
Show HN：LLM注意力可视化
一款基于React的应用工具，利用Transformers.js可视化大型语言模型中的注意力机制，展示令牌如何影响生成过程，帮助理解LLM行为。
面向 LLM 的 Markdown 浏览器
作者介绍了 TextWeb，这是一个开源工具，它将网页渲染为 Markdown 格式供 LLM 处理，而非使用昂贵的大视觉模型，该工具支持命令行界面 (CLI) 和 MCP 服务器。
MicroLLM Lab – 在浏览器中试用7个微型语言模型
MicroLLM Lab是一个基于浏览器的工具，允许用户使用JavaScript对7个微型语言模型进行测试和基准测试，提供速度与准确性指标。
大型语言模型是如何工作的（26分钟阅读）
详细讲解基于Transformer的大型语言模型的工作原理，涵盖分词、嵌入、注意力机制和下一个词元预测，无需复杂数学。
WebLLM: 高性能浏览器内LLM推理引擎
WebLLM是一个高性能的浏览器内LLM推理引擎，它利用WebGPU进行硬件加速，并且完全兼容OpenAI API，使得开源语言模型可以在本地运行。