Viernes 6 de noviembre de 2026 ·
Scale-to-zero para LLM: el arranque en frío tarda 294 segundos, y la descarga de pesos es solo una parte
Útil para
Apagar los pods de un LLM cuando no hay carga libera las GPU, pero el primer usuario tras la pausa espera minutos. H Company informó en julio de que una nueva réplica de sus modelos más grandes tardaba hasta 27 minutos en estar lista. Una prueba de Tensorfuse con Llama 3.1 8B en una L40S tardó 294 segundos, de los que solo 94 fueron para descargar y cargar los pesos, y 200 para compilación, CUDA graphs, inicialización del motor e importaciones.
Qué significa
Los equipos que ejecutan modelos en la nube podrían pagar solo cuando hay peticiones, aunque el primer usuario tras un periodo sin actividad tenga que esperar varios minutos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)
También ese día
Todas las noticias de IA del viernes 6 de noviembre de 2026 ->