Hasta el 60 % de la capacidad de las GPU se gasta en recalcular contexto; el almacenamiento flash puede recuperarla
Según Alan McSeveney, de WEKA, las GPU que ejecutan inferencia con modelos de lenguaje grandes pueden dedicar hasta el 60 % de su cómputo a recalcular contexto ya procesado. Esto ocurre porque la caché KV se descarta cuando la memoria es limitada y debe reconstruirse al reanudar una sesión. Sin estrategia, una GPU puede bajar al 30 % de utilización en trabajo nuevo, mientras que con una buena estrategia puede superar el 90 %. Según el directivo, corregirlo permite atender varias veces más usuarios con el hardware que las empresas ya tienen.
Qué significa
Una empresa que ya tiene GPU propias podría atender varias veces más usuarios sin comprar hardware nuevo, si corrige el recálculo de contexto.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- VentureBeat AILeer la noticia completa en VentureBeat AI