hardware-software-co-design

这条推文讨论了由于硬件限制，ML研究如何收敛于基于注意力、优化矩阵乘法（matmul）的算法，借鉴了‘硬件彩票’概念，并指出OpenAI的9个月芯片流片是硬件-研究协同设计的潜在迹象。

本文提出DxPTA，一种新颖的设计空间探索方法，用于高效地对满足面积、功耗、能量和延迟约束的光子Transformer加速器进行硬件/软件协同设计。与穷举方法相比，其搜索速度最高提升15.2倍，从而能够为多种Transformer模型实现高效的PTA设计。

本文提出了一种模型原生计算架构，通过计算机架构的视角展望未来系统设计。

作者指出，'意念转文本'是一个前景广阔的领域，目前正受到众多团队的探索，并强调软硬件协同设计对于成功实现这一技术至关重要。