llm-inference

标签

Cards List
#llm-inference

Janas:通过从 SSD 流式加载专家模型,在内存不足的情况下运行超过 RAM 大小的 LLM

Hacker News Top ↗ · 2026-10-12 缓存

Janas 是一个开源工具,通过从 SSD 流式加载专家模型(mixture-of-experts),让内存小于模型体积的笔记本也能运行 LLM。在 32GB 内存的笔记本上,Qwen3-Next-80B(48GB)推理速度达 37 tok/s,显著超越 llama.cpp 的 2.8 tok/s。

0 人收藏 0 人点赞
#llm-inference

@PyTorch:充分发挥你的 AI 基础设施价值。IBM Research 杰出工程师 Carlos Costa 同时也是 @_llm_d_ 项目的联合创始人

X AI KOLs Timeline ↗ · 2026-10-12 缓存

PyTorch Conference North America(圣何塞,10月20-21日)将迎来 IBM Research 的 Carlos Costa,他是 llm-d 的联合创始人,将分享 llm-d 项目在生成式 AI 服务方面实现最先进的性能的最新进展,包括多租户 QoS 和零停机运维能力。

0 人收藏 0 人点赞
#llm-inference

@yibie:strata-mlx 更新:・被其他请求中断的长对话不再重新读取。对于一个 10,000 token 的对话,下一轮输出首字符的时间从 19.7 秒降至 0.26 秒(M4 Max,需要添加 --conversation-cache-mib)

X AI KOLs Timeline ↗ · 2026-10-12 缓存

strata-mlx 更新:中断的长对话不再重读,10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒(M4 Max),并优化了 32 GB Mac 的内存管理,避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎,吞吐量显著优于 llama.cpp 和 LM Studio。

0 人收藏 0 人点赞
#llm-inference

PreSTO:用于快速大语言模型幂采样的预测性子树预取

arXiv cs.CL ↗ · 2026-10-12 缓存

PreSTO 提出一种预测性子树预取方法来加速 PowerMH 功率采样器,通过批量预取未来的 MH 提案并保持转移核不变,在七个数据集和五个大语言模型上实现了 1.71×–2.33× 的中位加速。

0 人收藏 0 人点赞
#llm-inference

用于推测解码的并行草稿的上下文校正

arXiv cs.CL ↗ · 2026-10-12 缓存

提出DCOCO(DFlash上下文校正器),一种轻量级机制,在保持并行草稿生成的同时恢复块内上下文依赖,在四个验证器骨干和十个基准上实现最高达6.6倍的推理加速,并在并发服务场景下显著优于现有方法。

0 人收藏 0 人点赞
#llm-inference

面向机器学习应用的代数整数量化

arXiv cs.LG ↗ · 2026-10-12 缓存

本文提出代数整数量化(AIQ)作为大语言模型推理的有损压缩格式,利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎,在等比特预算下达到与业界标准 MX 格式竞争的精度。

0 人收藏 0 人点赞
#llm-inference

DP-MIND:差分隐私记忆引导的长上下文推理

arXiv cs.AI ↗ · 2026-10-12 缓存

DP-MIND 提出一种记忆引导的框架,将差分隐私推理扩展到百万 token 长上下文场景,通过在扰动输入上用强化学习优化记忆构建策略并结合本地去噪模块,在长上下文基准上优于现有 DP 与长上下文推理基线。

0 人收藏 0 人点赞
#llm-inference

@Xudong07452910: 顶尖大学现在都在开设 Agent(智能体)相关课程,而且已经开始深入到 GPU 层面了。我强烈推荐……

X AI KOLs Timeline ↗ · 2026-10-12 缓存

哈佛大学推出 CS2680《Modern AI Systems》课程,从 Claude Code、Agent Loop、评估与 Token 成本一路讲到模型部署、路由、KV Cache、量化和推测解码,作业围绕拆解并重建同一 Agent 系统展开。该课程面向从事 Agent、Harness 或 AI Infra 的开发者,覆盖从应用层到底层系统的完整链路。

0 人收藏 0 人点赞
#llm-inference

什么是投机解码?(70分钟阅读)

TLDR AI ↗ · 2026-10-12 缓存

一篇70分钟阅读量的深度技术长文,从第一性原理推导投机解码(speculative decoding),构建涵盖EAGLE-3、多token预测(MTP)以及块扩散drafters(DFlash、DSpark)的统一框架,并讨论drafter训练中最小化KL散度的问题。

0 人收藏 0 人点赞
#llm-inference

GitHub - giveen/Decapybara:MegaCapybara 推理服务器的开源 C++20 与 CUDA 重构实现

Reddit r/LocalLLaMA ↗ · 2026-10-11 缓存

Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现,面向 NVIDIA RTX 5090 Blackwell 硬件,支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。

0 人收藏 0 人点赞
#llm-inference

与语音智能体进行一次真实对话的成本(详细拆解)

Reddit r/AI_Agents ↗ · 2026-10-11

一位自动化机构从业者逐项拆解4分钟语音外呼的真实成本(约39美分),指出平台费占一半、LLM仅占10%,并建议开启提示词缓存、裁剪工具返回结果,而非一味更换便宜模型。

0 人收藏 0 人点赞
#llm-inference

双 310p 昇腾卡上的 vllm-ascend 更新(GLM5.3-flash)

Reddit r/LocalLLaMA ↗ · 2026-10-11

一位爱好者分享了使用 vllm-ascend 在两张华为昇腾 310P 卡上以约 8–9 token/秒运行 3200 亿参数的 GLM-5.3-Flash MoE 模型的进展,包括模块热替换、利用 YaRN 实现 100 万 token 上下文,以及一种将权重从 CUDA GPU 卸载到昇腾卡上的混合式“昇腾辅助卡”构想。

0 人收藏 0 人点赞
#llm-inference

@akshay_pachaar:投机解码详解(用得好,LLM 推理速度可提升 4 倍)本地 LLM 通常每次……

X AI KOLs Timeline ↗ · 2026-10-11 缓存

这篇帖子通俗解释了投机解码(Speculative Decoding)的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu,它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证,使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。

0 人收藏 0 人点赞
#llm-inference

现在你可以在土豆上种盆景了

Reddit r/LocalLLaMA ↗ · 2026-10-11 缓存

llama.cpp 项目介绍:一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎,支持多种硬件后端,可在从服务器到树莓派等各类设备上运行,并提供命令行工具与 OpenAI 兼容的 API 服务。

0 人收藏 0 人点赞
#llm-inference

在 iPad 上运行未经修改的 Linux amdgpu 驱动

Hacker News Top ↗ · 2026-10-11 缓存

LemonSeed Studio 是一款 iPad IDE,通过将未经修改的 Linux amdgpu/amdkfd 驱动嵌入为 PCIDriverKit 扩展,驱动 Thunderbolt 外接 AMD GPU 进行设备端 LLM 推理。

0 人收藏 0 人点赞
#llm-inference

为 10 人初创公司搭建 4x R9700 工作站

Reddit r/LocalLLaMA ↗ · 2026-10-11

一位用户分享了为 10 人初创公司搭建的 4x AMD Radeon R9700 AI Pro 工作站(总显存 128GB,Threadripper 9970x),用于部署 Qwen 3.8 Next Flash/27B 和 DSV4 Flash 模型,在 16 个并发会话下报告了强劲的聚合预填充/解码吞吐量。

0 人收藏 0 人点赞
#llm-inference

@yibie:宣布我最近的项目:strata-mlx。Strata 太棒了:它可以运行拥有 1250 亿参数的混合专家模型 Qwen……

X AI KOLs Timeline ↗ · 2026-10-10 缓存

yibie 发布了 strata-mlx,这是一款面向 Mac 的非官方 MLX 推理引擎,可从 Strata 的 GGUF 文件运行 125B MoE 模型 Qwen3.8-Flash-Next,生成速度达到 llama.cpp 的 1.7–2.9 倍,并支持内存较小的 Mac 将专家卸载到 SSD。

0 人收藏 0 人点赞
#llm-inference

投机解码为什么快?(4分钟阅读)

TLDR AI ↗ · 2026-10-09 缓存

一篇技术博客深入解释了投机解码为什么快:并非因为总FLOPs减少(实际上反而增加),而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈(memory-bound)转为计算瓶颈(compute-bound),用单序列的'深度'换取了批量解码的'广度'。

0 人收藏 0 人点赞
#llm-inference

Java 版类 vLLM 框架声称在 NVIDIA GPU 本地推理中通过将 Java 编译为 CUDA 和 cuTile 达到 llama.cpp 约 90% 的性能

Reddit r/LocalLLaMA ↗ · 2026-10-08

TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架,通过将 Java 编译为 CUDA 和 cuTile,在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。

0 人收藏 0 人点赞
#llm-inference

自剪枝Transformer:借助Universal Attention实现极致KV-Cache压缩

arXiv cs.LG ↗ · 2026-10-08 缓存

IBM Research与UIUC的研究人员提出Universal Attention,一种自剪枝transformer框架。该框架将一阶与二阶key统计量结合为表达能力更强的遗忘门,在保留RoSoftmax注意力机制的同时,实现了最先进的10倍KV-Cache压缩,并在16k上下文长度下达到25倍压缩率。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈