IBM lanza Granite Switch 4.1, modelos modulares de 8B y 30B que unen chat, decisiones y voz
IBM ha lanzado Granite Switch 4.1 en tamaños de 8.000 y 30.000 millones de parámetros, con licencia Apache 2.0. Cada modelo integra en un único punto de acceso el modelo base, un adaptador de decisiones, el adaptador de seguridad guardian-core y un codificador de voz a texto solo en inglés, con ventana de contexto de 128K. Según IBM, los adaptadores necesitan aproximadamente la misma memoria de GPU que el modelo base y se activan sin cambiar el código. Las puntuaciones de decisión que publica IBM (Decision Index global de 42,9 en el 8B y 50,1 en el 30B) son cifras propias de la compañía.
Qué significa
Quien aloje modelos abiertos puede sustituir servicios separados de chat, decisiones y transcripción por un único punto de acceso.
Cómo te afecta
- Programadores
Puedes descargar Granite-Switch-4.1-8B o 30B y servirlos con Transformers (de la 5.16 a la 5.17.0) o vLLM (de la 0.26.0 a la 0.28.0). Para cambiar de adaptador basta con pasar su nombre a la plantilla de chat, sin tocar el código. Si usas llama.cpp, un usuario de Reddit indica que el soporte podría no estar listo todavía.
- CTO y tecnología
Puedes alojar en tu propia infraestructura un modelo con licencia Apache 2.0 que incluye decisión de seguridad y transcripción en el mismo servidor, con una memoria de GPU similar a la del modelo base. Antes de adoptarlo, mide en tu hardware: IBM reporta una diferencia de unos 0,6 puntos entre servirlo en local y en un entorno alojado.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- IBMLeer la noticia completa en IBM
- Hugging Face BlogLeer la noticia completa en Hugging Face Blog
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
- Unite.AILeer la noticia completa en Unite.AI