Miércoles 21 de octubre de 2026 ·

METASTONE presenta TokenFleet, un planificador que reparte la inferencia de LLM entre GPUs y centros de datos

Relevancia 50 de 100 China

METASTONE, operador independiente de computación, ha presentado TokenFleet, un framework de planificación distribuida para la inferencia de modelos de lenguaje, en la conferencia CCF de computación de alto rendimiento de 2026. Busca aumentar los tokens útiles, es decir, los de peticiones que terminan con éxito y cumplen sus objetivos de servicio, actuando a nivel de clúster: reparto entre instancias, enrutado entre centros de datos y gestión de cargas mixtas. Según la empresa, la latencia P95 del primer token bajó un 32,4% en un despliegue de GLM5.3, y en una estimación proyectada para SLOMax la proporción de peticiones que cumplen objetivos pasó de cerca del 67% al 86%. Las cifras no están verificadas de forma independiente.

Qué significa

Para quien opera GPUs y centros de datos que sirven modelos a terceros, la eficiencia a nivel de clúster se convierte en una palanca de coste y de calidad de servicio: más peticiones atendidas dentro de plazo con la misma capacidad. Para el usuario final, el efecto sería menos esperas y menos peticiones caídas, sin cambios visibles en la aplicación.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->