Sábado 31 de octubre de 2026 ·

DeepSeek-V4.1-Flash en dos DGX Spark con una caja de 3090: más de 2.600 tokens/s de prefill hasta 256K

Relevancia 51 de 100

Útil para Programadores 75%

Nick Mermiges, abogado y fundador de PLI Labs, describe su montaje para ejecutar DeepSeek-V4.1-Flash, cuantizado a 2,75 bpw, repartido con vLLM entre dos DGX Spark. Una tercera máquina con GPUs 3090 aloja las tablas Engram y ejecuta el modelo de borrador DSpark. Con caché de prefijo, el primer token llega en 2,58 s frente a 58,6 s en frío, y la salida estructurada JSON alcanza 322 tokens/s con cuatro flujos. El prefill llega a 2.618 tokens/s con 256K de contexto.

Qué significa

Ofrece cifras medidas con el método de la configuración de dos Spark más conocida, lo que permite comparar si repartir un modelo grande entre varios equipos compensa en velocidad.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 31 de octubre de 2026 ->