Mistral Large 4: modelo de 1 billón de parámetros con 49.000 millones activos

Relevancia 61 de 100 Francia, Isla de Francia

Mistral Large 4 tiene 1 billón de parámetros, de los que 49.000 millones están activos por inferencia. Según el artículo, sus pesos se publicarán en abierto este mes. El texto también indica que alquilar un servidor de 8 GPU deja de ser rentable por debajo de 3.850 millones de tokens.

Fuentes

Artificial Intelligence in Plain English - MediumMistral Large 4 Packs 1 Trillion Parameters Into 49 Billion Active