Serie gratuita de 44 sesiones sobre ingeniería de kernels de GPU, con código público
Útil para
Un creador publica una serie gratuita, con código abierto, de 44 sesiones sobre ingeniería de kernels de GPU, desde una multiplicación de matrices ingenua hasta FlashAttention en H100 y Blackwell. Sostiene que, en la mayoría de cargas de ML, el rendimiento depende antes del movimiento de datos que del cálculo. La hoja de ruta incluye CUDA, tensor cores, Triton, TMA, WGMMA, CUTLASS, FP8 y NVFP4.
Qué significa
Quien quiera aprender a hacer más rápidos los cálculos de IA en GPU tiene una ruta completa y gratuita, con código en vivo y medición de rendimiento en cada paso, que parte de los fundamentos y llega a FlashAttention.
Cómo te afecta
- Programadores
Tienes un camino gratuito con código abierto para entender FlashAttention, tensor cores y Triton, con medición de rendimiento en cada sesión. Ejecuta cada paso en tu GPU antes de tocar kernels de producción, porque el cuello de botella suele ser el movimiento de datos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/MachineLearningLeer la noticia completa en Reddit r/MachineLearning