Sábado 24 de octubre de 2026 ·

Modelo de programación Qwen con contexto de 262K corre a 70 tokens por segundo en una GPU de 8 GB

Relevancia 52 de 100

Útil para Programadores 90%

Un usuario de Reddit explica cómo ejecutar una variante Coder de Qwen-Flash-Next cuantizada a 3,5 bits por peso por ISTA DASLab, con contexto de 262K y unos 70 tokens por segundo con llama.cpp. La mayoría de los expertos MoE se mantienen en 24 GB de RAM, los más pequeños van a la VRAM y la parte n-gram se carga desde disco, por lo que recomienda un SSD rápido. Si CUDA falla con 8 GB de VRAM, sugiere usar el backend Vulkan.

Qué significa

Equipos de consumo con 8 GB de VRAM y mucha RAM pueden ejecutar modelos de programación de contexto largo en local, sin depender de servicios en la nube.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 24 de octubre de 2026 ->