Kolibri-1 piensa en alemán: ¿sirve también para responder?
Aleph Alpha ha publicado Kolibri-1, un modelo de 78.000 millones de parámetros pensado para textos en alemán, un idioma para el que el artículo considera que faltaban modelos buenos. Usa 384 expertos, de los que se activan seis enrutados y uno fijo, lo que deja unos 3,46 mil millones de parámetros activos en la inferencia. La versión regular tiene pesos cuantizados en gran parte en FP8 (algunas partes en bfloat16), y también existe una versión en BF16; la arquitectura combina capas de atención por ventana deslizante con capas de atención completa y usa Grouped Query Attention.
Qué significa
Quien busque un modelo para trabajar en alemán tiene dos versiones publicadas, FP8 y BF16; la elección depende de la memoria de su equipo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- heise online (DE)Leer la noticia completa en heise online (DE)