标签
一个使用三元3:4权重的1.6 MB模型在浏览器中通过WebGPU运行，玩四子棋的效果与7.8 MB的int8模型相当，展示了三元格式在轻量级AI部署中的有效性。
一项对60K参数下Ternary语言模型的受控重新检查表明，基线形状显著影响性能比较，挑战了关于路由Ternary模型优势的先前说法。
一篇推文讨论了在配备24 GB RAM的MacBook上本地运行无审查版Ternary-Bonsai-27B AI模型，突出其在编码任务中的性能。
发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。
SHADOW 50M 是一个紧凑的44M参数AI模型，具有三元权重和固定的512位代码，在45B令牌上从头训练，能够在消费硬件上高速进行离线推理。
DeepGrove 发布了 Maple-Preview，这是一款开源的 20B-A1B 三值权重推理大语言模型，在同类权重规模中推理能力达到最先进水平，在 Mac mini M4 上每秒可生成 200+ tokens，并与更大模型相比具有竞争力。
提出了CPU解码速度取决于每个token的活跃参数而非总参数的见解，并提出一个使用三元权重和细粒度MoE的10B参数模型，以在中等配置PC上实现高token速率。报告了沙箱测量结果，显示在8.3M模型上速度从176 tok/s提升到848 tok/s，且质量损失极小。
Neutrino-1 8B是一个拥有8.19B参数、采用专有三值权重格式的Transformer模型，使其能够部署在8GB显存的GPU上，并从一个仅3.88GB的模型文件中以高解码速度服务多个平台。
Prism ML发布Bonsai Image，一个1.21 GB的文本到图像扩散变换器，使用三元权重（1.58-bit）用于NVIDIA GPU，在RTX 3080上4.5秒生成1024²图像，体积远小于FP16。
一种使用三值权重（-1、0、1）的高效 AI 模型架构，仅需 1.58 比特/参数即可实现具有竞争力的性能，可部署在极度受限的设备上。