Martes 20 de octubre de 2026 ·
La empresa china Shiyi presenta TokenFleet, un sistema de planificación que reduce 71,3% la latencia mediana del primer token
Shiyi Technology presentó TokenFleet, un marco de planificación distribuida para servicios de inferencia, durante la conferencia CCF de computación de alto rendimiento de 2026. Lo forman tres módulos: TokenPilot elige instancias comparando caché y colas, FleetMind coordina capacidad entre centros de datos y SLOMax gestiona cargas mixtas. Con datos de ajuste del modelo GLM5.3, la latencia del primer token baja 32,4% en el percentil 95 y 71,3% en la mediana, en las condiciones probadas.
Qué significa
Quien opera servicios de inferencia de modelos de lenguaje puede repartir peticiones con menos esperas y aprovechar mejor sus GPU. La mejora medida es de tiempo de respuesta, no de coste, y el ahorro real depende de rendimiento y uso de recursos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- QbitAI 量子位 (CN)Leer la noticia completa en QbitAI 量子位 (CN)
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->