DeepSeek-V4-Flash-0731 en cuatro Radeon AI PRO R9700 con affinity: la configuración de cuatro tarjetas funciona a unos 79 tok/s
Un usuario prueba el motor affinity con cuatro tarjetas Radeon AI PRO R9700 reales, algo que la versión original rechazaba al superar dos tarjetas, y usa una bifurcación con correcciones de estabilidad y un cuantizado de 2,875 bpw. Con dos tarjetas obtiene 36 tok/s de decodificación, porque solo el 45 % de los expertos cabe en VRAM y el 82 % del tiempo se gasta esperando el flujo desde memoria del host; con cuatro tarjetas, todos los expertos residen en VRAM y logra 79 tok/s en greedy, 63 con temperatura 1,0 y unos 90 en una respuesta de chat con razonamiento. No detecta salidas degeneradas, y la comprobación interna entre tarjetas pasa siempre, por lo que el autor atribuye el fallo original a la simulación de cuatro rangos sobre dos tarjetas.
Qué significa
Quien tenga cuatro R9700 puede ejecutar DeepSeek-V4-Flash-0731 con todos los expertos en VRAM y con buena velocidad. Con solo dos tarjetas la velocidad cae bastante porque parte de los datos se transfiere desde la memoria del sistema.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA