laptop-inference

这篇文章强调，能在消费硬件上运行的AI模型正在缩小与前沿模型的差距，表明尖端AI将在几个月内免费应用于个人设备。

在配备6GB RTX 4050的笔记本上测试1.56TB混合专家模型，需借助NVMe进行修补式内存流式传输，解码速度达到0.106 tokens/s。

一场名为 'Build Small' 的黑客马拉松，最大32B参数，设计为可在笔记本上运行，吸引了包括 OpenAI、NVIDIA、OpenBMB 和 Cohere 在内的赞助方，提供超过4万美元现金、2块RTX 5080以及10万美元codex积分。