Usuario pregunta si desbloquear GPUs RTX 3090 cambia el resultado de cuantizaciones de precisión mixta
Un usuario de Reddit pregunta si el método gpu-unlock en tarjetas 3090 y similares tiene efecto en modelos de precisión mixta, con algunos tensores cuantizados a Q8 o menos y otros mantenidos en BF16. Plantea la duda a la comunidad y pide información.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA