Domingo 18 de octubre de 2026 ·

Caché KV para GPT-2 desde cero: corrección, latencia y medición de memoria

Relevancia 51 de 100

Útil para Programadores 55%

Un desarrollador implementó GPT-2 small (124M) con caché KV en PyTorch como proyecto de aprendizaje y comparó el ahorro teórico con mediciones en una NVIDIA A40. La diferencia máxima de logits frente a Hugging Face fue de unos 6,1e-5 y la generación greedy de 200 tokens coincidió con y sin caché. Con contexto de 1.000 tokens, el tiempo por token bajó de 29,69 ms a 4,95 ms, y generar 1.016 tokens tardó 14,66 s sin caché frente a 5,03 s con caché. Tras corregir un desfase de 8.519.688 bytes, la memoria medida coincide con la fórmula de 72 KiB por token en los 16 puntos de control.

Qué significa

Es una referencia reproducible para medir con cifras reales el efecto de la caché KV, aunque el propio autor aún no ha confirmado con un profiler por qué la latencia con caché es casi constante.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del domingo 18 de octubre de 2026 ->