DeepSeek V4.1 Flash comprimido a 2,6 bits corre a 26 tokens por segundo en dos RTX 3090
Útil para
Un usuario de Reddit ha creado DeepSeek-V4.1-Flash-1017-dsx-2.6bit, una versión del modelo comprimida a unos 2,6 bits por peso con el motor dsx, orientada a programación y tareas agénticas, y ha subido los pesos. Su perplejidad (9,36) es la menor de las versiones comprimidas comparadas, aunque sigue por encima del modelo de referencia FP4 (8,56). Con dos RTX 3090 y 192 GB de RAM alcanza 26 tokens por segundo al generar y 170 al procesar el prompt con 262.144 de contexto, pero tarda 90-110 minutos en cargar los 187,6 GB de pesos desde un disco HDD y aún no admite imágenes.
Qué significa
Permite ejecutar un modelo muy grande en equipos de consumo con dos tarjetas RTX 3090, a cambio de cargas lentas y una ligera pérdida de precisión frente al original. Para programadores con hardware doméstico, es una alternativa local a los modelos alojados en la nube.
Cómo te afecta
- Programadores
Con dos RTX 3090 y 192 GB de RAM puedes correrlo en local a 26 tokens por segundo, pero prepara 90-110 minutos de carga desde HDD y no esperes imágenes. Los pesos los sube un usuario de Reddit, no el fabricante, así que valida los ficheros antes de meterlos en tu entorno.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA