Martes 20 de octubre de 2026 ·

Google y Meta llevan TorchTitan a TPU: Llama 3 405B alcanza cerca del 57% de MFU

Relevancia 51 de 100 Estados Unidos, California

Útil para Programadores 85%

Google y Meta presentan una bifurcación de TorchTitan adaptada a los TPU de Google Cloud, con el backend nativo TorchTPU (torch.device("tpu")) integrado en PyTorch. Incluye recetas de preentrenamiento para Llama 3, Qwen 3 y FLUX.1, con kernels Pallas como FlashAttention-like Splash Attention y cross-entropy fusionada. Según las cifras publicadas, Llama 3 405B mantiene unos 57% de MFU entre 128 y 1.024 chips TPU v7x, y FLUX.1 queda a un 99% del rendimiento de JAX MaxDiffusion.

Qué significa

Quien entrena modelos en PyTorch puede pasarlos a TPU de Google cambiando sobre todo la inicialización del dispositivo y usando recetas listas, sin reescribir en JAX ni depender de torch_xla. Reduce la barrera para usar TPU como alternativa a las GPU en entrenamiento a gran escala.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 20 de octubre de 2026 ->