标签
介绍Picotron，它是Nanotron的净室重写版本，消除了强制性的GPU特定依赖，使得LLM训练能够在T4和V100等旧款GPU上进行。它默认使用标准PyTorch SDPA，但在运行时支持FlashAttention-2。