single-gpu

标签

Cards List
#single-gpu

@kyutai_labs:认识 AURA——为你的语音 AI 赋予一张脸。实时生成。单 GPU 即可运行。挑选一张脸(或上传你自己的),开始对话,然后……

X AI KOLs Following ↗ · 昨天 缓存

Kyutai Labs 推出 AURA——一个面向语音 AI 的实时人脸/虚拟形象,可在单 GPU 上实时生成口型同步的视频,并将开源整个技术栈。

0 人收藏 0 人点赞
#single-gpu

@QuixiAI: 我推出 QuixiInfer —— 我那优化到离谱的推理引擎,可在单张 GPU 上运行 DeepSeek-v4.1-Flash-1017,…

X AI KOLs Following ↗ · 2天前 缓存

作者推出了 QuixiInfer,一个从零开始用 Rust 编写的推理引擎,针对单张 GPU 上以 256k 上下文运行 DeepSeek-v4.1-Flash-1017 进行了优化,在 RTX 5090 上通过动态 CPU 和 NVMe 卸载实现约 25-30 tok/s 的速度,并支持最多 3 个并发请求。欢迎贡献者在 3090、4090 以及 AMD 硬件等其他 GPU 上进行测试。

0 人收藏 0 人点赞
#single-gpu

Horsey 挑战赛 | Strata Fork | Qwen 3.8 FN NVFP4

Reddit r/LocalLLaMA ↗ · 2026-10-13

# 单卡 RTX 5090 运行 Qwen3.8-Flash-Next 125B-A6B:strata-nvfp4 引擎性能实测 有用户在**单张 RTX 5090** 上,使用 **strata-nvfp4** 引擎(Strata 的 NVFP4 分支)运行 **Qwen3.8-Flash-Next 125B-A6B** 混合 MoE 模型,并分享了「小马挑战」的性能数据。 ## 测试任务 「小马挑战」要求模型生成一段 HTML,其中包含一个 Three.js 低多边形风格的奔跑小马动画。 ## 性能数据 | 指标 | 数值 | | --- | --- | | 生成步数 | 87 步 | | 输出 token | 12.4 万 | | 平均解码速度 | 103 t/s | | 缓存命中率 | 99% | ## 亮点 - **单卡跑大模型**:125B 总参数、6B 激活参数的混合 MoE 模型,在一张 RTX 5090 上即可流畅推理。 - **高吞吐解码**:平均 103 t/s 的解码速度,足以支持长内容的一次性生成。 - **极高的缓存命中率**:99% 的命中率说明 KV 缓存复用非常充分,长上下文场景下开销极低。 - **NVFP4 量化收益**:借助 strata-nvfp4 引擎的 4-bit NVFP4 路径,模型权重与计算密度得到显著压缩,才使得如此规模的模型能在消费级显卡上运行。 ## 小结 这份实测表明,在 Strata 的 NVFP4 分支加持下,消费级单卡已经能够以实用速度运行百亿级激活参数的 MoE 模型,为本地大模型部署提供了新的可能性。

0 人收藏 0 人点赞
#single-gpu

使用单颗 GH200 芯片预训练 21B MoE 时,将 MFU 从 21% 提升至 50% 的过程记录(含代码和日志)

Reddit r/LocalLLaMA ↗ · 2026-10-12

一位独立研究者记录了在单块 NVIDIA GH200 上预训练一个 210 亿参数的 MoE 模型时,通过结合现有优化技术,将模型 FLOPs 利用率(MFU)从 21% 提升至 50% 的过程,并为预算有限的大语言模型开发者分享了代码、日志和各阶段的指标。

0 人收藏 0 人点赞
#single-gpu

@no_stp_on_snek: 能装进4090……而且不开放权重,这是你的API密钥。多谢 /s

X AI KOLs Timeline ↗ · 2026-08-05 缓存

对 Pokee AI 的 Pokee-Isaac 28B 的讽刺回应。该模型号称拥有 1000 万 token 上下文,是智能体模型,可运行在单张 RTX 4090 上,但不开放权重,仅通过 API 提供。

0 人收藏 0 人点赞
#single-gpu

@thesupermanmx: 中国开源了一个模型,可从普通视频实时重建任意场景的3D模型。只需一个摄像头,无需LiDAR。…

X AI KOLs Timeline ↗ · 2026-07-16

中国开源了一个实时3D场景重建模型,无需LiDAR,仅需普通单摄像头视频,在单GPU上实现20 FPS,并在10,000+帧中保持稳定。

0 人收藏 0 人点赞
#single-gpu

一个极简的两步LLM链(非完整代理框架),解决一个特定问题:将规划器+编码器流水线适配到单个GPU上

Reddit r/AI_Agents ↗ · 2026-07-09

一个极简的两步LLM链,实现了规划器+编码器流水线,旨在无需完整代理框架的情况下适配到单个GPU上。

0 人收藏 0 人点赞
#single-gpu

@che_shr_cat: 1/ 我们一直误解了GPU内存的使用方式。如果GPU根本不需要存储你的模型呢?MegaTrain 实现了…

X AI KOLs Timeline ↗ · 2026-06-29 缓存

MegaTrain 通过将 VRAM 视为瞬时无状态缓存,反转内存层次结构,在单张 GPU 上实现了 100B 以上大语言模型的全精度训练。

0 人收藏 0 人点赞
#single-gpu

Ornith-1.0-35B GGUF 更新:原生 MTP 推测解码嫁接 + 完整服务/TTFT/长上下文数据(llama.cpp, tp=1)

Reddit r/LocalLLaMA ↗ · 2026-06-28

Ornith-1.0-35B GGUF 模型更新引入了原生 MTP 推测解码嫁接,可在单 GPU 上实现更快推理,解码速度提升约 1.3-1.35 倍,同时保持几乎相同的 token 分布。提供了多个量化版本的吞吐量、TTFT 和长上下文性能的基准数据。

0 人收藏 0 人点赞
#single-gpu

小型实验,更便宜的决策:微预训练中分阶段提升的案例研究

arXiv cs.CL ↗ · 2026-06-11 缓存

本文研究了一种用于微预训练的分阶段提升协议,使用从分钟到小时递增的预算来筛选配置。研究发现,早期筛选是有用的但不稳定,并且分阶段方法可以保留长期参考,同时识别出未能通过继续阈值的替代方案。

0 人收藏 0 人点赞
#single-gpu

我设计了一种方法,用于(自主地)在单个消费级GPU上训练Transformer语言模型。

Reddit r/openclaw ↗ · 2026-05-31

一种在单个消费级GPU上自主训练Transformer语言模型的方法,分为六个阶段,设有验证门和AGENTS.md规范,适用于OpenClaw等编排框架。

0 人收藏 0 人点赞
#single-gpu

ModeSwitch-LLM:一种轻量级阶段感知控制器,用于单GPU上的跨模式大语言模型推理

arXiv cs.LG ↗ · 2026-05-25 缓存

ModeSwitch-LLM 是一种轻量级控制器,将大语言模型推理请求路由到单GPU上合适的固定模式(例如FP16、量化、推测解码),在无需重新训练模型的情况下,实现高达2.10倍的延迟加速和51.7%的能耗降低。

0 人收藏 0 人点赞
#single-gpu

@heygurisingh: 过去训练参数量达数十亿的LLM需要花费1000万美元以上。有人开源了一个仓库,现在可以在单张GPU上完成。

X AI KOLs Timeline ↗ · 2026-05-20 缓存

一个名为train-llm-from-scratch的开源仓库使得在单张GPU上训练十亿级参数的LLM成为可能,它提供了一个从原始文本到推理的可配置流水线,包括数据集流式加载和检查点保存,采用MIT许可证。

0 人收藏 0 人点赞
#single-gpu

TideGS:通过外存优化实现超过十亿3D高斯泼溅原语的可扩展训练

Hugging Face Daily Papers ↗ · 2026-05-19 缓存

TideGS提出了一种外存训练框架,通过块虚拟化、异步流水线和差分流式传输技术,在SSD-CPU-GPU层级管理参数,使得在单个GPU上能够以超过十亿原语进行3D高斯泼溅训练。

0 人收藏 0 人点赞
#single-gpu

@_vmlops:在单GPU上微调12B模型已成现实 大多数人以为需要庞大的GPU集群才能微调大型语言模型…

X AI KOLs Timeline ↗ · 2026-05-17 缓存

Hugging Face 的 PEFT 库实现了在单张 GPU 上对大型模型进行参数高效微调,在降低计算和存储成本的同时保持性能。

0 人收藏 0 人点赞
#single-gpu

@tom_doerr: 在单个 GPU 上从头训练十亿参数的大语言模型 https://github.com/FareedKhan-dev/train-llm-from-scratch…

X AI KOLs Timeline ↗ · 2026-05-17 缓存

一个 GitHub 仓库提供了基于 Transformer 架构、使用 PyTorch 在单个 GPU 上从头训练十亿参数语言模型的脚本。

0 人收藏 0 人点赞
#single-gpu

在一个单GPU上构建了开源的一提示生成电影级短片流程——使用FLUX.2 [klein]生成角色关键帧,Wan2.2-I2V生成动画,视觉评论器带自动重试,同一流程中集成音乐+9种语言旁白

Reddit r/LocalLLaMA ↗ · 2026-05-14

构建了一个开源流程,仅需输入一句话即可生成带有角色、动画、音乐和旁白的电影级短片,使用FLUX.2、Wan2.2及其他模型,在单个AMD GPU上运行。该流程包含导演代理、角色生成、关键帧动画、视觉评论器、音乐和旁白等阶段。

0 人收藏 0 人点赞
#single-gpu

@tom_doerr: 在单个4GB GPU上运行70B大语言模型 https://github.com/lyogavin/airllm

X AI KOLs Timeline ↗ · 2026-05-13 缓存

AirLLM是一个开源工具,优化推理内存使用,无需量化即可在单个4GB GPU上运行70B大语言模型,并支持在8GB显存上运行405B模型。

0 人收藏 0 人点赞
#single-gpu

@seclink: 这家伙刚刚在一块单张 3090 显卡上,跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度,以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区,其发展速度简直如神速一般。…

X AI KOLs Following ↗ · 2026-04-23 缓存

A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.

1 人收藏 1 人点赞
#single-gpu

单GPU微调的高效异构协同设计

Papers with Code Trending ↗ · 2026-03-17 缓存

SlideFormer 提出了一种异构协同设计,用于在单GPU上进行全参数LLM微调,利用GPU/CPU/RAM/NVMe及其层滑动引擎和优化的Triton内核,在单张RTX 4090上实现对123B+模型的微调,吞吐量显著提升。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈