Amazon lanza TorchNeuron, un backend nativo de PyTorch para ejecutar código en sus chips Trainium
Útil para
Amazon ha presentado TorchNeuron, un backend de PyTorch de código abierto que permite ejecutar código existente en sus chips Trainium cambiando una línea, sin reescribir el proyecto. Según la compañía, busca reducir el coste de probar Trainium frente a las GPU de Nvidia, cuyo dominio se apoya en CUDA. Admite ejecución eager, torch.compile, NKI y los tipos BF16, FP32 y FP16, con compatibilidad con Trainium2 y Trainium3. Hugging Face indica que el 89% de las 100 arquitecturas de generación de texto más usadas son compatibles de forma nativa, frente al 46% con la vía anterior.
Qué significa
Los equipos que entrenan modelos en PyTorch pueden evaluar Trainium sin rehacer su código, lo que rebaja el coste de salir del ecosistema de Nvidia. Para Amazon es un paso para ganar cuota en chips de IA, y para PyTorch supone menos dependencia de CUDA.
Cómo te afecta
- Programadores
Si tu código PyTorch no usa formas dinámicas, tensores dispersos ni FP8, prueba el dispositivo neuron en una rama aparte. La cifra de ahorro del 60 % al 70 % es de Amazon, así que mídela tú con tu carga.
- Inversores
Para quien tiene Nvidia, TorchNeuron reduce el peso de CUDA: permite ejecutar código PyTorch en Trainium sin reescribirlo, lo que facilita a los clientes cambiar de proveedor. La cifra del 70 % más de audio por dólar es de Amazon y no está verificada, así que trátala como dato de la compañía.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face BlogLeer la noticia completa en Hugging Face Blog
- PyTorch BlogLeer la noticia completa en PyTorch Blog
- The Next WebLeer la noticia completa en The Next Web
- Tecnología - DiarioBitcoin.comLeer la noticia completa en Tecnología - DiarioBitcoin.com
- El Ecosistema StartupLeer la noticia completa en El Ecosistema Startup
- ai - Startup FortuneLeer la noticia completa en ai - Startup Fortune
- IA - FomoEraLeer la noticia completa en IA - FomoEra
- Hugging Face BlogLeer la noticia completa en Hugging Face Blog