Project Maya v1.1.11 añade desglose de memoria GPU y tamaño del pool de expertos configurable

Relevancia 46 de 100

Project Maya v1.1.11 es un motor local de inferencia para GLM-5.3-Flash (321B MoE) en GPUs NVIDIA. La versión añade un monitor que muestra en barras el uso de VRAM por GPU (pesos, caché KV, activaciones, entre otros) y permite fijar el tamaño del pool de expertos desde un archivo de configuración. Un usuario midió un contexto de 262.144 tokens en una RTX 4080 SUPER de 32 GB, sin lecturas de disco para los expertos tras la carga. También incluye soporte para GPUs AMD gfx1151 y mejoras de velocidad en V100.

Qué significa

Quien ejecute este modelo en local con GPU NVIDIA puede ver qué ocupa la VRAM y ajustar el pool de expertos desde el archivo de configuración.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

#LLMタグLeer la noticia completa en #LLMタグ