llama.cpp añade soporte para Muse Spark Open (texto, visión y audio)
El commit b11671 de llama.cpp incorpora la arquitectura Muse Spark Open, que procesa texto, visión y audio. Es un modelo MoE de espacio latente con 256 expertos, routing top-8 y atención que alterna capas de ventana deslizante de 2048 con una capa global. La visión reutiliza la torre de Muse Glimmer, y el audio es una pirámide convolucional causal sin atención, con un embedding por cada 80 ms a 24 kHz. Las proyecciones latentes y la puerta de atención se cuantizan en Q8_0, porque los tipos de bajo bit provocaban bucles repetitivos en la salida.
Qué significa
Quien ejecute modelos con llama.cpp podrá cargar Muse Spark Open. Las versiones de muy baja precisión pueden generar respuestas repetitivas, por lo que el commit mantiene algunas capas en mayor precisión.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp