Qwen 27B con contexto completo de 262k en una RX 9070 XT de 16 GB, a más de 80 tok/s con streaming adaptativo de KV
Un usuario describe un port a ROCm/HIP del adaptive KV streaming para llama.cpp, que originalmente solo funcionaba con NVIDIA/CUDA. Con él, Qwen 27B (pesos IQ4_XS y caché KV Q8_0/Q4_0) puede usar su ventana completa de 262.144 tokens en una sola GPU AMD RX 9070 XT de 16 GB, a más de 80 tokens/s en decodificación. La caché KV completa, de unos 7,4 GB, se guarda en la RAM del sistema y se transfiere por PCIe en bloques acotados, mientras la GPU sigue calculando.
Qué significa
Quien tenga una gráfica AMD de 16 GB podría, según el autor, trabajar en local con contextos muy largos sin quedarse sin VRAM. Son cifras del propio autor y el texto no incluye una verificación independiente.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA