@analogalok: 买不起2000美元的GPU这个借口已经彻底失效了。昨天我展示了如何解锁一块企业级16GB……

X AI KOLs Timeline 工具
free-gpu kaggle multi-gpu llama-cpp llm-inference tensor-parallelism pipeline-parallelism

摘要

关于如何使用Kaggle免费的双Tesla T4 GPU（32GB显存）来运行大语言模型并支持超大上下文窗口的指南，涵盖llama.cpp中的多GPU并行策略。

买不起2000美元的GPU这个借口已经彻底失效了。 昨天我向大家展示了如何免费解锁一块企业级16GB NVIDIA GPU。 你们的直接反应是什么？"怎么运行更大的模型？""如何在不发生OOM崩溃的情况下使用超大上下文窗口？" 好吧。那我们把算力加倍。 今天，我们将免费获得一个具有32GB显存的双GPU集群。 按照标准云价格（双卡约0.40美元/小时），Kaggle每月免费提供价值约12美元的重度GPU算力。 与昨天需要从源码编译C++不同，今天我们直接使用预编译的CUDA二进制文件。你可以在几分钟内（实际不到2分钟）在这个免费的Ubuntu实例上运行一个260亿参数的大模型。 零成本获得的规格： - 2块NVIDIA Tesla T4 GPU（图灵架构） - 总计32GB GDDR6显存 - 5120个CUDA核心 - 30GB系统内存 - 60GB存储空间 - 可选单块P100（帕斯卡架构，16GB显存） 但工程现实是：给本地大语言模型堆多块GPU并不会神奇地提速。如果你不了解数据在主板上的传输方式，你的推理引擎就会完全卡死。 接下来是60秒的llama.cpp多GPU并行大师课，供你实验。 将模型拆分到两块GPU上时，你有两种选择： 1. 张量并行（标志：-sm tensor）将每个神经网络层在数学上切成两半。两块GPU同时计算。由于每张卡只持有公式的一半，它们必须为每个token持续同步数学运算。 2. 流水线并行（标志：-sm layer）这是默认方式。它将模型顺序切分。GPU 0承担第1-20层，GPU 1承担第21-40层。就像工厂流水线一样：GPU 0处理提示词，通过PCIe通道传递数据一次，然后在GPU 1完成计算时空闲。 对两种方式都进行基准测试并发布你的数据！ 在今天的教程中，我构建了一个清晰的Python字典配置块，让你可以无缝实验这些重磅标志： -ngl 99（将所有层卸载到两块GPU） -c 250000（使用超大25万上下文窗口） 凭借32GB显存和流水线并行，你可以轻松加载DeepMind的Gemma 4 26B A4B MoE模型，将整个代码库纳入提示词，再也不会遇到内存溢出的核心转储。我在没有任何额外优化的情况下轻松实现62 tokens/sec的解码速度。 无需编译时间。无需信用卡。毫无借口。 立即收藏这篇文章，以免丢失这个多GPU配置工作流。别忘了分享，让每一个因算力不足而挣扎的GPU穷人看到。 我专门为这个双T4设置准备了一个全新、逐单元格的Kaggle笔记本。 免费笔记本的链接在下面的评论区。告诉我你今天在跑什么大模型。
查看原文
查看缓存全文

缓存时间: 2026/07/07 11:28

我买不起2000美元的GPU——这个借口已经彻底失效了。

昨天我展示了如何免费解锁一块企业级16GB NVIDIA GPU。

你的第一反应是什么？“我怎么才能跑更大的模型？”“怎么才能在不OOM的情况下使用超长上下文窗口？”

好吧，那就把算力翻倍。

今天，我们要用一个双GPU集群，拥有32GB显存，完全免费。

按标准云费率（双卡约0.40美元/小时），Kaggle每月免费给你约12美元的重型GPU算力。

而且，我们不用像昨天那样从源码编译C++，而是直接使用预编译好的CUDA二进制文件。在这个免费的Ubuntu实例上，你可以在不到2分钟内运行一个高达260亿参数的模型。

你花0美元得到的规格：

  • 2块NVIDIA Tesla T4 GPU（图灵架构）
  • 总计32GB GDDR6显存
  • 5120个CUDA核心
  • 30GB大内存
  • 60GB存储
  • 可选单块P100（帕斯卡架构，16GB显存）

但工程现实是：把多块GPU扔给本地LLM并不会神奇地变快。如果你不了解数据如何在主板上移动，你肯定会让推理引擎卡死。

这里给你一个60秒的llama.cpp多GPU并行大师课，供你实验。

当你把模型拆分到两块GPU上时，你有两个选择：

  1. 张量并行（标志：-sm tensor）
    这会在数学上将每个神经层切成两半。两块GPU同时计算。
    因为每张卡只持有方程的一半，它们必须为每个token持续同步数学运算。

  2. 流水线并行（标志：-sm layer）
    这是默认方式。它会按顺序切分模型。GPU 0处理第1-20层，GPU 1处理第21-40层。
    就像工厂流水线。GPU 0处理提示词，通过PCIe通道将数据传递一次，然后空闲，等待GPU 1完成计算。

在两块GPU上都跑一下基准测试，并在评论区贴出你的数据！

在今天的教程中，我构建了一个干净的Python字典配置块，这样你就可以无缝实验这些重量级标志：

  • -ngl 99（将所有层卸载到两块GPU）
  • -c 250000（使用25万token的上下文窗口）

凭借32GB显存和流水线并行，你可以轻松加载DeepMind的Gemma 4 26B A4B MoE，将整个代码库塞进提示词，再也不会看到内存溢出崩溃。我可以在没有任何额外优化的情况下轻松达到62 token/秒的解码速度。

无需编译时间。无需信用卡。零借口。

立即收藏这篇帖子，这样你就不会丢失这个多GPU配置工作流。别忘了分享它，让它触及每一个受算力困扰的GPU穷人。

我专门为这个双T4设置制作了一个全新的、逐单元格的Kaggle笔记本。

免费笔记本的链接在下方评论区。告诉我你今天在启动哪些大模型。

Kaggle笔记本教程：在2分钟内下载并运行模型。使用llama.cpp实验不同的模型和标志。

教程中使用的模型：最适合6-8GB显存+16GB RAM笔记本和PC的本地LLM unsloth/gemma-4-26B-A4B-it-qat-GGUF · Hugging Face

我每天都在发布免费的本地AI教程、硬件基准测试和零成本设置。如果这个工作流今天给你带来了价值，点个关注。它花费你0美元，让你保持在最前沿，并向我发出信号，继续为时间线开源这些资源。

http://kaggle.com 多年来一直提供这些服务。只需注册，无需付款或信用卡。每月限制30小时。

嘿！感谢分享你的故事。6台GPU服务器太强了！llama.cpp很容易上手。我之前分享的教程（你引用的那个）是在免费的Google Colab上使用1块T4 GPU，展示了如何从头构建。

这个教程使用的是预构建的二进制文件（避免了慢速的源码编译步骤），搭配Kaggle上免费的2块T4 GPU。你可以轻松尝试不同的拆分标志。只有当模型+上下文无法完全放入一块GPU时，拆分才有帮助——否则会增加同步/空闲开销，而不是提速。这听起来正是你所遇到的情况。

顺便问一下，你囤了哪些GPU？

嘿！感谢分享你的故事。6台GPU服务器太强了！llama.cpp很容易上手。之前的教程（你引用的那个）使用1块T4在免费的Google Colab上，展示了如何从头构建。这个使用预构建的CUDA二进制文件（跳过了慢速的源码编译步骤），搭配Kaggle上免费的2块T4。你可以轻松尝试拆分标志。只有模型+上下文无法完全放入一块GPU时，拆分才有帮助——否则会增加同步/空闲开销，而不是提速。听起来这恰好是你遇到的情况。顺便问一下，你囤了哪些GPU？

是的，这是个好模型。但我在本地受限。Gemma 4 26B是我能运行的最大最智能的模型，且解码和预填充都很好。只有8GB显存+16GB RAM。

Kaggle更可靠。Kaggle的可用性从来不是问题。我会在更长的工作负载上彻底测试。你有相关经验吗？

是的，免费的额度非常慷慨。

谢谢支持，Arsalan！

它是怎么工作的？

相似文章