gpu-optimization

用户从LM Studio切换到vLLM以服务Qwen 3.8模型，实现了每秒143个令牌的速度，并降低了GPU温度，参考了一个有用的GitHub仓库。

FreeToken是一个开源推理框架，由UC Berkeley、MIT和UT Austin的研究者开发，专门用于在个人电脑上运行超大MoE模型，通过动态分配GPU、CPU和内存资源实现高效推理。

一位开发者通过使用DFlash2和前缀缓存等优化技术，在单张RTX 3090上运行Qwen3.8-27B模型，实现了高达381 tok/s的推理速度，特别适用于RAG和编程助手等文档相关任务。

本文介绍了一种优化 DeepSeek-V4-Pro（一个1.6万亿参数的 MoE 模型）在 H20 GPU 上服务的方法，通过场景特定的配置和优化实现了显著的性能提升。

PTXBench被介绍为一个基准，用于评估和适配大型语言模型，以使用架构特定的PTX优化GPU内核，显示性能不均和微调见解。

KernelArc是一个多智能体框架，使用策略专业化智能体来自主优化GPU内核以处理异构工作负载，并在NVIDIA GPU基准测试中取得顶级排名。

一位开发者通过使用TypeGPU优化448x448模型在M4 Pro上以约8毫秒的速度运行，实现了实时单目深度估计，从而允许深度感知照明无缝集成到GPU中。

本文提出了Agentic ESOpt，一种使用进化策略的方法，能够在最小GPU内存需求下实现长时程LLM代理的可扩展全参数微调。

本文介绍了Gonka，一个去中心化的推理网络，允许通过OpenAI兼容接口访问具有完整1M上下文的V4-Flash AI模型，无需本地GPU所有权。

用户分享了使用Qwen 3.8 27b模型搭配DeepSeek Harness的积极体验，赞扬其稳定性和长上下文处理能力，但提到速度限制，并期待未来的模型发布。

一篇博客文章详细描述了作者如何在GPU模式竞赛中使用Codex优化内核，在QR分解中实现232倍加速，并分享自动研究的经验。

法国初创公司 Kog 正通过软件优化大幅提升标准数据中心 GPU 上的 LLM 推理速度，声称吞吐量最高可提升 30 倍。在展示其开源的 Laneformer 2B 模型实现每秒 3000 个 token 的处理速度后，该公司现在正专注于更大的模型，并瞄准软件工程工作流。

TTT-Discover 是一个框架，它在测试时使用强化学习对单个问题训练大型语言模型，在GPU内核工程中创下新纪录，并改进了数学界限。

本文研究LLM智能体服务的GPU控制门控，分析并发队列调度和设备端路由与主机重新分发的对比，以减少主机往返并提高GPU利用率。

介绍了v100-skinny，一个自定义内核库，支持在V100（sm70）GPU上进行快速NVFP4推理，在最佳情况下的抽取中为Qwen3.6 27B实现366 t/s，而结构化生成和代码生成的速度较低。

NVIDIA and PyTorch explain how kernel fusion in CUDA improves GPU memory bandwidth by combining multiple operations into a single kernel, reducing round-trips through global memory and kernel launch overhead.

Meta 的 FBTriton 是 OpenAI Triton 编译器的一个下游分支，能够在上游保持同步的同时，快速开发 TLX 和 autoWS 等 GPU 优化。本文详细介绍了其持续的上游合并策略、分层 L1/L2/L3 验证框架，以及在平衡创新与生产稳定性方面的实际挑战。

Nifer 是一款工具，能够在 Qwen 3.6 35B 上实现每秒 700 个 token 的推理（无思考模式），专为 RTX 5090 优化，并支持完整的 25 万上下文。

用户分享了将 Qwen 3.6 27B 推至 262K 上下文并获得连贯结果的体验，并讨论了使用 Rope/Yarn 缩放进一步扩展的方法，以及在 RTX 3090 Ti 上的 kv-cache 交换策略。

LongStraw是一个架构感知的执行栈，用于在固定GPU预算下进行百万Token级别的RL后训练，已在Qwen和GLM模型上展示了高达210万位置的执行能力。