Martes 20 de octubre de 2026 ·
llm-d 1.0 llega a producción: IBM y Red Hat cifran un coste por token 5 a 10 veces menor que una API comercial
Útil para
El consorcio de llm-d, impulsado por IBM, Red Hat y Google, presentó la versión 1.0 de su framework open source de inferencia distribuida para grandes modelos de lenguaje, durante la PyTorch Conference en San José. La versión se centra en la operación diaria en producción, con control de prioridades entre usuarios, actualizaciones sin interrupción y gestión de la caché KV. IBM Research y Red Hat probaron GLM-5.2 sobre 544 GPU NVIDIA H100 con más de 6,6 millones de tokens de salida por minuto en su pico.
Qué significa
Las organizaciones que quieran servir modelos abiertos en sus propios clústeres de Kubernetes tienen ahora una pila estandarizada, con gobierno neutral y soporte para operación continua, como alternativa a las APIs comerciales. Las cifras de coste por token proceden de IBM y Red Hat y aún no se han verificado de forma independiente.
Cómo te afecta
- Programadores
Si gestionas clústeres de Kubernetes que sirven modelos, llm-d 1.0 es candidato a evaluar: según sus impulsores ya está preparado para cargas sostenidas en cualquier acelerador y nube. Compáralo con tu despliegue actual y mira qué aceleradores soporta en tu caso.
- CTO y tecnología
Si estudias alojar tus propios modelos, llm-d 1.0 es una alternativa abierta frente a tu proveedor de inferencia actual. Según sus impulsores está lista para producción, así que prueba tus cargas sostenidas antes de migrar y mantén un plan de salida.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Modelos nuevos (EN)Leer la noticia completa en Modelos nuevos (EN)
- Modelos nuevos (EN)Leer la noticia completa en Modelos nuevos (EN)
- IBM Research BlogLeer la noticia completa en IBM Research Blog
- SiliconANGLE AILeer la noticia completa en SiliconANGLE AI
- XenoSpectrum — English EditionLeer la noticia completa en XenoSpectrum — English Edition
- Modelos nuevos (EN)Leer la noticia completa en Modelos nuevos (EN)
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->