一台从电脑文件夹运行、可训练小型LLM的迷你计算机
摘要
VirtualPC 是一个开源8位计算机模拟器,能够从汇编代码训练小型神经网络,在裸机层面展示机器学习。
大家好,大多数人构建8位计算机是为了运行《Pong》或《Tetris》。但我想看看能否将自定义8位架构推向更高难度:从零开始训练神经网络。我构建了 VirtualPC,一个开源8位计算机系统,从基本的 NAND 门模拟到功能完整的 CPU,能够从电脑上的文件夹中训练小型神经网络。仓库地址:https://github.com/ninjahawk/VirtualPC
› ML 核心
无需导入 PyTorch,一切都在裸机汇编层面完成:
- 自定义 ISA:指令集架构专为机器学习所需的数学运算而设计。
- 底层训练:CPU 直接通过自定义汇编代码执行前向和反向传播。
- 8位矩阵运算:通过磁盘支撑的内存交换来存储权重,克服了严重的内存限制。
› 架构
- 基于 Python 的虚拟机:运行整个模拟硬件环境。
- 自定义汇编器:将原始汇编文件转换为二进制机器码。
- 全栈操作系统:从零开始处理基本 I/O 和内存管理。
构建这个项目让我深刻理解了机器学习数学如何转化为物理 CPU 周期。该项目完全开源,欢迎随意探索。
相似文章
vllm-project/vllm v0.19.1
vLLM v0.19.1 发布 - 一个快速易用的开源 LLM 推理和服务库,拥有业界领先的吞吐量,支持 200+ 个模型架构以及包括 NVIDIA/AMD GPU 和 CPU 在内的多样化硬件。
从零开始在8GB显存上训练LLM。我开心
构建了一个仓库,用于在8GB显存上从零训练一个微型语言模型(25M参数),支持MTP,但指出mHC和BitNet的局限性。
Show HN: Tiny-vLLM – 使用C++和CUDA的高性能LLM推理引擎
Tiny-vLLM是一个高性能的LLM推理引擎,采用C++和CUDA实现,提供连续批处理和PagedAttention等特性,并作为教育资源。
MINISFORUM UM790 Pro
MINISFORUM UM790 Pro 被强调为一款用于本地 AI 推理的经济型迷你 PC,支持 llama.cpp 和 vLLM。
@_vmlops: 微软的FARA-7B可以为你使用电脑 7B参数...自主点击、滚动、填写表单、订票等
微软发布了Fara-7B,一个70亿参数的小型语言模型,可以自主控制电脑执行点击、滚动、填写表单等任务,在设备上运行,并在基准测试中击败了OpenAI的computer-use agent等更大模型。