Stratum：采用3D堆叠DRAM的系统硬件协同设计以实现高效MoE
摘要
介绍了Stratum，一种采用3D堆叠DRAM的系统硬件协同设计方法，以高效加速混合专家（MoE）模型。
暂无内容
相似文章
谁手里有大量缓慢的系统内存加一块中端 GPU……试试 Strata + Qwen3-8B Next。
一位用户报告称，Strata 搭配 Qwen3-Next 80B 的 IQ3_XXS 权重（约 80GB）在 DDR4 + 7900 XTX 平台上稳定运行在 45-70 tokens/s，明显超过调优后的 Llama.cpp（约 22.5 t/s），表明 Strata 是在中端 GPU 和慢速系统内存上运行大型 MoE 模型的有前景的推理工具。
@MinLiBuilds: 我刚用 Strata 跑完一轮实验。这真是一个超棒的推理框架——显存仍然……
一位创作者分享了对 Strata 推理框架的基准测试实验，在 RTX 4090 上系统性地限制专家缓存（expert cache）的显存预算，以测量在不同模拟 GPU 显存层级下速度如何下降，使用 Qwen3.8-Flash-Next Q2_0，上下文长度为 8192，温度为 0。
D-Matrix Raptor 3D-DRAM 加速器：面向 Hot Chips 2026 的生成式推断
D-Matrix 在 Hot Chips 2026 上展示了其 Raptor 3D-DRAM 加速器，该加速器通过直接将计算单元堆叠在 DRAM 晶圆上，解决了生成式 AI 推断中的内存容量和带宽挑战。
@yibie：宣布我最近的项目：strata-mlx。Strata 太棒了：它可以运行拥有 1250 亿参数的混合专家模型 Qwen……
yibie 发布了 strata-mlx，这是一款面向 Mac 的非官方 MLX 推理引擎，可从 Strata 的 GGUF 文件运行 125B MoE 模型 Qwen3.8-Flash-Next，生成速度达到 llama.cpp 的 1.7–2.9 倍，并支持内存较小的 Mac 将专家卸载到 SSD。
三星发布zHBM原型，直接在AI加速器上堆叠内存
三星在FMS 2026会议上发布了zHBM和zNAND-O内存技术，旨在将内存直接堆叠在AI加速器上，为AI系统提供高达8倍的更高性能和改进的能效。