Cuantización FP4 QAD de Qwen3.8-Flash-Next de Nvidia, de 102 GB

Relevancia 48 de 100 China, Zhejiang

Un usuario de Reddit comparte una versión cuantizada en FP4 con QAD de Qwen3.8-Flash-Next, de Nvidia, que ocupa 102 GB. La versión NVFP4 publicada por Nvidia ocupa 133 GB. El autor espera que algunos motores de inferencia añadan soporte para este formato.

Qué significa

Descargar y almacenar el modelo requiere unos 31 GB menos que la versión NVFP4 de Nvidia. El texto no confirma que ningún motor ya lo soporte.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA