Miércoles 28 de octubre de 2026 ·

Cuantización de RWKV-7: qué se pierde en modelos de distinto tamaño

Relevancia 35 de 100

Útil para Programadores 65%

El autor presenta rwkv-quant, una herramienta con dos preajustes para comprimir modelos RWKV-7. En el modelo de 2,9B la pérdida de perplejidad fue del 4,04 %, frente al 2,85 % del de 1,5B. Según el estudio, el daño se concentra en la proyección de salida del bloque 0 y en la tabla de embeddings; mantener la primera en bf16 cuesta el 0,5 % del archivo y elimina el 39 % de la divergencia KL. La concentración de energía no predice la pérdida, y la métrica que sí funciona combina el error del flujo residual con la ganancia medida.

Qué significa

Quien ejecute modelos RWKV en su propio equipo puede reducir su tamaño con menos pérdida de calidad si conserva en mayor precisión las capas más sensibles.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 28 de octubre de 2026 ->