Miércoles 21 de octubre de 2026 ·

Google Cloud lanza llm-d 1.0 con enrutamiento consciente de caché para flotas de TPU y GPU

Relevancia 57 de 100 Estados Unidos, California

Útil para Programadores 75%CTO y tecnología 60%

Google y sus socios publicaron llm-d 1.0, primera versión estable de su pila de inferencia distribuida, de código abierto y nativa de Kubernetes, que coordina servidores vLLM o SGLang en un único pool. Según Google, un benchmark en un despliegue de 17.000 nodos en GKE logró reducir más de un 85 % el TTFT mediano y 2,4 veces más rendimiento en una carga de programación con TPU Ironwood. El proyecto fue fundado en 2025 por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA, y es proyecto Sandbox de la CNCF desde el 12 de marzo de 2026.

Qué significa

Las empresas que alojan sus propios modelos de lenguaje pueden repartir las peticiones de forma más eficiente entre GPU y TPU, con menos latencia y coste por respuesta. La versión 1.0 se centra en que estas funciones funcionen de forma fiable en producción, sobre todo para agentes y entrenamiento por refuerzo.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->