gpu-efficiency

英伟达参与了印度初创公司 Simplismart 的一轮 1400 万美元 B 轮融资，该轮融资对公司的估值约为 1 亿美元。Simplismart 开发的软件可让 AI 模型在现有 GPU 基础设施上更高效地运行。

DeepSeek V4.1 Flash 的大规模推理部署文章，介绍 DeepInfer 结合分布式推理、缓存、负载均衡与投机解码提升效率，DeepSeek 单集群日处理 155 万亿 token，每 GPU 小时收入 38 美元，并开源了大部分推理框架。

该论文研究在数据有限但算力充裕场景下的重复数据预训练，发现小批量通过梯度噪声提供隐式正则化，并在固定时间预算下小批量+少GPU可取得更低验证损失，挑战了常见的增大并行度以最大化GPU利用率的做法。

一个从 FLUX.2 klein 蒸馏而来的 140 万参数 U-Net 学生模型，在 GTX 1650 入门级显卡上的 Minecraft Fabric mod 中，实现实时 30-40 FPS 的神经网络天气风格迁移（雪景、湿润、夜晚），通过 PatchGAN 微调修复了纯像素损失导致的输出泛白问题。

一篇论文提出了 galahad-kv 记忆层，将 LLM 的键值（KV）状态持久化到加密的本地 NVMe 磁盘，并以逐字节精确的方式重新加载，替代重复计算。在单张 H100 上使用 Gemma 4 模型实现了 5000 万 token 的窗口，速度提升 2.8–4.3 倍，能耗降低 8.8–12.3 倍。

PyTorch 大使 Abdulsalam Bande 将在 PyTorch Conference North America 2026 上展示 ERRC（面向张量并行 LLM 通信的熵再投资残差修正）的海报，通过压缩 GPU 间通信来提升多 GPU LLM 推理效率。大会还将呈现涵盖开源 AI 技术栈的完整会议议程。

dotwave.ai 发布了技术文章，展示其推理引擎可在单张 H100 上并发服务 56 路实时会话（NVIDIA 参考栈仅支持 1 路）：让模型常驻 GPU，并将所有会话按每个时钟周期批量处理，从而将每次对话的 GPU 成本降低约 98%，且 160ms 音频截止时限零丢失。

QwenGyre 是一个弹性强化学习框架，旨在解决训练超长期大语言模型代理时面临的挑战，通过提高 GPU 利用率和减少轨迹冗余来提升训练效率。

展示了在2026年，即使在显卡性能不足的情况下，也能通过量化版Qwen3.6-35B模型在低端笔记本电脑上用24分钟构建类塞尔达RPG游戏。

TRANSIT是一种运行时，使统一虚拟内存对大规模LLM训练实用，无需更改代码即可将GPU使用率降低高达50%，并将在PyTorch Conference North America上展示。

一条推文讨论了部署后GPU效率被忽视的问题，并提到一家初创公司通过虚拟化筹集了1300万美元来解决GPU闲置时间的问题。

ModeSwitch-LLM 是一种轻量级控制器，将大语言模型推理请求路由到单GPU上合适的固定模式（例如FP16、量化、推测解码），在无需重新训练模型的情况下，实现高达2.10倍的延迟加速和51.7%的能耗降低。

作者推测，如果仅将 MoE 模型的激活参数加载到 GPU 上，将能极大提高运行效率，并允许在本地运行 Kimi 这样的大型模型，尽管作者承认目前这尚不切实际。

Unsloth开源工具将大模型微调速度提升2-5倍、显存降低80%，使单张RTX 4090几小时完成原本需A100集群的任务。