houslast3/85.30-GFLOPS-Single-Core-FP32-Matrix-Multiplication-on-AMD-Zen-3

Source: https://github.com/houslast3/85.30-GFLOPS-Single-Core-FP32-Matrix-Multiplication-on-AMD-Zen-3

🚀 85.30 GFLOPS Single‑Core FP32 GEMM on AMD Zen 3

Uma exploração sistemática de otimização de multiplicação de matrizes usando AVX2/FMA em C++ intrinsics, alcançando 63,5% do pico teórico de 134,4 GFLOPS em um AMD Ryzen 5 5500.

📖 Visão Geral

Este repositório contém o código fonte, resultados e análise de um estudo aprofundado sobre otimização de multiplicação de matrizes (GEMM) para precisão simples (FP32) em uma única núcleo da microarquitetura AMD Zen 3. Foram testadas 28 configurações distintas (modelos MX01 a MX28) que combinam técnicas como:

• Cache blocking (tiling) em três níveis (L1, L2, L3)
• Register blocking (2, 4 e 8 linhas)
• Encadeamento de instruções FMA (chain1 a chain6)
• Estratégias de empacotamento (sem packing, transposição, B‑pack on‑the‑fly)
• Alinhamento de memória (32 bytes)
• Prefetching por software
• Stores não temporais (stream stores)

O melhor modelo, MX24, sustentou 85.30 GFLOPS, superando a implementação ingênua por um fator de 56,5× e igualando o desempenho de bibliotecas otimizadas como AMD AOCL e OpenBLAS.

🏆 Resultados Principais

ℹ️ O pico teórico é calculado como 2 portas FMA × 8 floats × 2 ops × 4,2 GHz = 134,4 GFLOPS.

🔬 Metodologia

Técnicas de Otimização Avaliadas

1. Cache Blocking (Tiling)

   • BI, BJ, BK ajustados para manter os blocos dentro das caches L1 (32 KB), L2 (512 KB) e L3 (16 MB).
   • O melhor BK encontrado foi 256, que maximiza a reutilização sem estourar a L2.

2. Register Blocking

   • Acumuladores de C mantidos em registradores YMM (16 disponíveis).
   • 4 linhas proporcionou o melhor equilíbrio: apesar de exigir spill (16 registradores extras), a reutilização de A compensa o custo.

3. FMA Chaining

   • A latência da instrução FMA no Zen 3 é de 4 ciclos. O encadeamento chain4 (4 acumuladores independentes) esconde essa latência, atingindo utilização máxima das duas portas FMA.

4. Empacotamento (Packing)

   • B‑pack on‑the‑fly: copia blocos de B (BK×BJ) para um buffer contíguo, convertendo acessos não contíguos em sequenciais.
   • Supera a transposição completa (que polui a L3) e o acesso direto (que sofre com misses de TLB).

5. Alinhamento

   • Alocação com _mm_malloc(..., 32) para uso de instruções vmovaps (alinhadas), trazendo ganho de ~5%.

6. Prefetching

   • O uso de _mm_prefetch reduziu o desempenho em ~8%, pois o hardware prefetcher do Zen 3 já é eficiente para padrões de streaming.

7. Stores Não Temporais

   • _mm256_stream_ps foi catastrófico (1,24 GFLOPS), pois C é lido‑modificado‑escrito, e a instrução invalida a linha de cache a cada escrita.

📂 Estrutura do Repositório

zen3-gemm/
├── README.md
├── src/
│   └── mx85.c                  # Código completo com todos os 28 modelos + benchmark
├── docs/
│   ├── artigo_en.tex           # Artigo científico completo (LaTeX)
│   └── resultados/             # Logs de saída do benchmark
│       ├── mx85_benchmark.txt
│       └── mx85_output8.txt
└── build/
    └── Makefile                # (opcional) para compilação simples

⚙️ Compilação e Execução

Pré‑requisitos

• Processador com suporte a AVX2 e FMA (ex: AMD Zen, Intel Haswell ou superior)
• Sistema operacional Windows (10/11) ou Linux
• Compilador GCC 12.2+ (MinGW‑w64 no Windows) ou equivalente com suporte a intrinsics AVX2
• Memória suficiente para matrizes 2048×2048 (≈ 48 MB para as três matrizes)

Compilar com GCC (Windows/MinGW ou Linux)

No diretório src/, execute:

gcc -O3 -mavx2 -mfma -march=native -funroll-loops -frename-registers -o mx85.exe mx85.c

Flags importantes:

• -mavx2 -mfma -march=native – habilita instruções SIMD e otimiza para a CPU atual.
• -funroll-loops – desenrola laços internos.
• -frename-registers – melhora a alocação de registradores (reduz spills).

Executar

./mx85.exe

O programa:

• Aplica afinidade de thread ao núcleo 0 (Windows) e prioridade alta.
• Executa cada modelo 3 vezes (warmup) + 15 vezes medidas.
• Gera dois arquivos de saída:
  • mx85_benchmark.txt – ranking completo e validação.
  • mx85_validate.txt – erros máximos versus implementação de referência.

Personalização

Para testar apenas um modelo específico, você pode modificar a função main() para chamar diretamente a função desejada (ex: mx24(A, B, C, N)). Ou, para matrizes de outros tamanhos, altere a constante N (linha ~230).

📊 Tabela Completa de Resultados

Abaixo estão todos os 28 modelos testados, com GFLOPS medidos e porcentagem do pico teórico.

🔍 Análise dos Principais Fracassos

🧪 Validação

Todos os modelos foram validados contra uma implementação de referência (escolar ijk). Os três melhores modelos (MX24, MX22, MX23) apresentaram erro máximo absoluto = 0.0 (bit‑idênticos), pois a ordem de acumulação é preservada. Os demais modelos apresentaram erros da ordem de 1e-6, dentro do esperado para aritmética de ponto flutuante.

📚 Como Citar

Se utilizar este trabalho em suas pesquisas, por favor cite o artigo associado:

@article{housl2025gemm,
  title={85.30 GFLOPS Single-Core FP32 Matrix Multiplication on AMD Zen 3},
  author={Housl},
  journal={arXiv preprint},
  year={2025}
}

🤝 Contribuições

Contribuições são bem‑vindas! Sinta‑se à vontade para abrir issues ou pull requests com melhorias, novos modelos ou adaptações para outras arquiteturas.

##📄 Licença Este projeto está disponível sob a MIT License. Isso significa que você pode usar, copiar, modificar, mesclar, publicar, distribuir, sublicenciar e/ou vender cópias do software, desde que mantenha o aviso de direitos autorais e a permissão. Veja o arquivo LICENSE para os termos completos.

##📧 Contato e Autoria Autor: Lucas Lima Freitag

E‑mail: [email protected]

Papel: Autor

Afiliação: Universidade Federal do Rio Grande do Norte (UFRN)

ORCID: 0009-0006-8849-5619

Divirta‑se otimizando! 🚀 Se tiver dúvidas, sugestões ou quiser compartilhar seus próprios resultados, fique à vontade para entrar em contato