标签
Tenstorrent发布了Quietbox 2,这是一款高性能系统,配备256GB内存和128GB互联的GDDR,专为AI开发设计,具有令人印象深刻的可扩展性和互联功能。
Morph LLC描述了三种关键技术——基于编码输出训练投机模型、在廉价GPU上自动搜索内核、以及编写自定义互连——以大幅加速像Qwen和DeepSeek这样的开放模型在编码代理工作负载上的运行,实现了最高3倍的投机解码加速,并在7000美元的GPU上达到97-162 tok/s。