Jueves 22 de octubre de 2026 ·

Propuesta de decodificación especulativa: copia de 2 bits en VRAM y residuo en RAM para modelos que no caben en la GPU

Relevancia 36 de 100

Útil para Programadores 70%

Un usuario propone mantener una versión de 2 bits de un modelo de lenguaje en la GPU para generar tokens borrador, mientras que los pesos residuales de 6 a 8 bits se guardan en la RAM del sistema y el modelo completo los verifica. Según sus mediciones, hechas en PyTorch sin cifras de tokens por segundo, la combinación de 2 bits con residuo de 8 bits se acerca más a bf16 que Q8_0. Además, el borrador que reutiliza la caché KV del verificador acepta un 25-30% más de tokens por comprobación que el borrador oficial de Gemma 4 31B (5,23 frente a 4,20).

Qué significa

Permitiría ejecutar modelos grandes en GPUs con poca memoria sin que el borrador ocupe memoria adicional, aunque por ahora es una propuesta sin medición de velocidad real.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del jueves 22 de octubre de 2026 ->