Miércoles 28 de octubre de 2026 ·
DeepSeek-V4.1-Flash-1017 en una RTX 3090 a 41 tokens por segundo con cuantización Q2
Útil para
Un desarrollador ejecuta la versión Q2 GGUF del modelo DeepSeek-V4.1-Flash-1017 en una RTX 3090 de 24 GB, con 192 GB de RAM y Windows sin WSL, a una media de 41 tokens por segundo y con contexto completo de 1M. Según el autor, las respuestas coinciden con la API oficial en el siguiente token entre un 85,5 % y un 91,5 % en texto general, según el cuantizado. Su motor de inferencia admite tres de los cuantizados más descargados y se instala mediante un archivo BAT.
Qué significa
Modelos de gran tamaño pueden ejecutarse en un ordenador de consumo con mucha memoria RAM, aunque con cierta pérdida de precisión frente a la API oficial.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->