Xolotl ejecuta DeepSeek-V4.1-Flash (552B) en una sola RTX 4090 a unos 27 tokens por segundo
Un desarrollador presenta Xolotl, un motor de inferencia basado en Strata, que ejecuta el modelo DeepSeek-V4.1-Flash de 552.000 millones de parámetros en un PC de sobremesa con una RTX 4090 de 24 GB, 90 GB de RAM DDR4 y un SSD NVMe. Según el autor, los pesos se reparten entre VRAM, RAM y NVMe, y el motor carga los expertos que necesita cada token, logrando unos 27 tokens por segundo al generar y entre 180 y 320 al procesar el contexto. Declara resultados de 21/21 en HumanEval, 10/10 en llamadas a herramientas y 3/3 en bucles de corrección de errores, y que también corre GLM-5.3-Flash y dos modelos Qwen3.8. Anuncia para dentro de unos días una versión cuantizada y sin censura de la variante DeepSeek-V4.1-Flash-1017, mientras la actual (152 GiB) ya está publicada en Hugging Face.
Qué significa
Quien tenga una RTX 4090 y 90 GB de RAM podría probar un modelo de 552B en local con la cuantización publicada, según el autor. Los resultados son autodeclarados y el texto no incluye verificación independiente.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA