我在原版 Game Boy Color 上成功运行了真正的 Transformer 语言模型！

Reddit r/LocalLLaMA 工具
edge-ai game-boy-color transformer quantization embedded-systems local-inference

摘要

一位开发者通过定制 ROM 和定点运算，成功在原版 Game Boy Color 上本地运行了量化版的 TinyStories Transformer 模型。

无需手机、PC、Wi-Fi、连接线或云端推理。• 卡带启动 ROM，GBC 自行运行模型。• 该模型采用 Andrej Karpathy 的 TinyStories-260K，转换为 INT8 权重并使用定点运算，使其无需浮点运算即可运行。• 使用 GBDK-2020 构建为 MBC5 Game Boy ROM。• 模型权重存储于卡带 ROM 的分页区域中。提示词输入通过设备上的方向键/按键和屏幕键盘完成。• 提示词在 Game Boy 上进行分词，随后 ROM 执行 Transformer 的预填充（prefill）与自回归生成。KV 缓存存储在卡带 SRAM 中，因为 GBC 的工作 RAM 容量极小。虽然运行速度极慢，且由于数学运算经过重度量化/近似，输出内容显得杂乱无章，但核心功能运行正常！硬件：原版 Game Boy Color + EZ Flash Junior + microSD。构建过程中大量使用了 Codex！https://github.com/maddiedreese/gbc-transformer
查看原文

相似文章

Soul Player C64 – 在 1 MHz Commodore 64 上运行的真正 Transformer

Hacker News Top

# gizmo64k/soulplayer-c64 来源：[https://github.com/gizmo64k/soulplayer-c64](https://github.com/gizmo64k/soulplayer-c64) # Soul Player C64 **一款在 1 MHz Commodore 64 上运行的真实 Transformer。** ``` .-------. | O O | | V | |..|---|..| # SOUL PLAYER C64 2.5万个参数。 2 层网络。 真实的 Transformer。 从软盘加载运行。 你> 嗨 C64> 你好！这声音不错。真神奇！ ``` 一个 2 层仅解码器（Decoder-Only）Transformer —— 与 ChatGPT、Claude 和 Gemini 背后的架构相同 —— 采用手写 6502/

迷你可修改的CUDA语言模型实现

Hacker News Top

一个最小化的、可修改的CUDA实现，类似于GPT的变压器语言模型，处理字节序列，附带示例输出和构建说明。

Transformer 数学探索器 [P]

Reddit r/MachineLearning

这个交互式工具通过数据流图可视化 Transformer 模型的数学基础，涵盖了从 GPT-2 到 Qwen 3.6 的架构以及各种注意力机制。