标签
本文提出了PISA，一种块稀疏注意力机制，采用金字塔Top-K选择策略以实现O(N log N)复杂度，提升长上下文语言模型的效率，在基准测试中性能相当，在检索任务上表现更优。
AMD upstreamed optimizations to PyTorch/TorchTitan and TorchAO for FP8 training on AMD Instinct GPUs, achieving up to 13.4% throughput gains on Llama3-8B and recovering 89% of FP8 quantization overhead on DeepSeek-V3 via fused Triton kernels.
发布了RRT-355M，一个GPT-2中等规模的无softmax注意力模型，拥有3.54亿参数，从零开始在115亿token上训练，利用结构稀疏性和瓦片跳过内核实现长上下文效率，在22个任务基准测试中达到与GPT-2中等规模相当的性能。
Tony Wu发布了late-interaction-kernels (LIK)：用于MaxSim的融合Triton内核，MaxSim是ColBERT和ColPali背后的评分步骤，已集成到PyLate和colpali-engine中，提供了内存效率和性能提升。
Wall Attention 是一种新的注意力变体，具有每个通道、每个时间步的乘法衰减，提供内容相关的遗忘率，以及在Triton中实现的高效训练/解码内核。
技术解析：对比 PyTorch 默认的 autograd 与 UnslothAI 使用 OpenAI Triton 语言编写的自定义反向传播内核，以实现更高效的 LLM 微调。
SlideFormer 提出了一种异构协同设计，用于在单GPU上进行全参数LLM微调，利用GPU/CPU/RAM/NVMe及其层滑动引擎和优化的Triton内核，在单张RTX 4090上实现对123B+模型的微调，吞吐量显著提升。