EdgeRock-4B: modelo abierto que reduce un 99 % la caché KV y multiplica por 6 el rendimiento en una sola tarjeta
Útil para
Yanshan Technology (岩山科技), junto a HKUST, CMU y otras universidades, ha publicado en código abierto EdgeRock-4B, cuya caché KV se mantiene en 72 MiB incluso con contextos de 256K, un 99,1 % menos que el modelo de origen Qwen3.5-4B. En una GPU de 80 GB ejecuta 512 razonamientos largos a la vez, con 12.124 tokens/s de salida, 6,42 veces más que el original. En la media de AIME 2024–2026 logra un 82,9 % de aciertos al primer intento, frente al 18,8 % del mejor modelo de estado acotado de hasta 14B.
Qué significa
La memoria deja de crecer con la longitud del razonamiento, lo que permite atender más peticiones a la vez con el mismo hardware en modelos que piensan durante muchos tokens.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- QbitAI 量子位 (CN)Leer la noticia completa en QbitAI 量子位 (CN)