ml-performance

一条推文解释了一个在Anthropic机器学习性能面试题中的正确答案：在8块GPU上运行70B参数的Transformer模型时，按列分割张量并行线性层与按行分割的延迟权衡，并强调尽管每块GPU的权重相等，但性能并不相似。