hardware-efficiency

Tensordyne 宣布了一项突破性推理系统，在硬件中使用对数数学，声称每瓦特令牌数比NVIDIA Blackwell多17倍，吞吐量高13倍，这是通过将对数空间中的复杂乘法替换为简单加法实现的。

本文提出了一种针对Tenstorrent Tensix架构上大语言模型推理的算子融合策略，将RMSNorm与矩阵乘法融合，以提高数据局部性并减少DRAM访问。在Wormhole平台上，使用Qwen2.5-0.5B、Qwen3-0.6B和Qwen3-4B进行的实验显示，注意力模块延迟降低高达37.44%，MLP延迟降低15.89%。

# LiftQuant 引入"先提升后投影"机制，实现大语言模型的连续（非整数）位宽量化，精准适配硬件内存预算。该框架将 70B 大语言模型压缩至 2.4 位以适配 24GB GPU，性能超越当前最先进的 2 位模型。

Hugging Face CEO Clement Delangue 表示，在硬件配置不变的情况下，笔记本端本地开放权重 AI 的性能提升速度已达摩尔定律的 4.7 倍，并以模型从 Llama 3 70B 演进至 DeepSeek V4 Flash 的进展作为佐证。

本文展示了 8 个本地大语言模型在 RTX 3090 上的基准测试结果，显示功率能效在约 225W 时达到峰值，而在满功率下收益递减。

作者报告成功在单个 MI300X 上使用 Qwen2.5-32B 和 FAISS 运行 MRCR v2，实现 1M 上下文长度，并以低成本获得有竞争力的分数。

KernelBench-X是一个用于评估LLM生成GPU内核的新基准，揭示了任务结构对正确性的影响大于方法设计，且正确性并不保证硬件效率。