Un usuario ejecuta MiMo-2.6-Pro en un Jetson AGX Thor a 0,646 tokens por segundo
Un usuario de Reddit consiguió cargar y ejecutar MiMo-2.6-Pro, de unos 566 GB en FP8, en un Jetson AGX Thor con 128 GB de memoria, leyendo el modelo desde disco durante la inferencia. La velocidad fue de 0,646 tokens por segundo. El autor responde con ironía a una frase de Dario Amodei, de Anthropic, según la cual en código abierto se puede ver el código fuente pero no el interior del modelo, y sostiene que con los pesos abiertos se puede revisar cada capa y cada experto.
Qué significa
Un modelo de 566 GB no cabe en 128 GB de memoria, así que se puede ejecutar solo leyendo partes desde disco, a una velocidad muy baja que lo hace impracticable para uso habitual.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA