Kimi K3 tres meses después: demasiado grande para ejecutarlo en local y modelos más pequeños ya lo igualan
Kimi K3, lanzado en julio como el mejor modelo abierto descargable, ocupa 1,56 TB y necesita unos 610 GB de RAM y VRAM en su cuantización más pequeña recomendada por Unsloth, por lo que no cabe en 512 GB. La cuantización de 1 bit coincide con el modelo completo en el siguiente token el 79% de las veces, y la de 2 bits llega al 90% con 861 GB. En el índice de Artificial Analysis su puntuación bajó de 57 a 44, aunque el autor atribuye gran parte de la caída al cambio del índice; GLM-5.3 (753B) ya obtiene 45 y Step 5 Preview (600B) 44. La licencia no es MIT: las empresas con servicios de modelo como servicio y más de 20 millones de dólares de facturación en 12 meses necesitan un acuerdo aparte con Moonshot.
Qué significa
Quien quiera usar K3 en local necesitaría más de 600 GB de memoria, y una empresa que cumpla el umbral de facturación debe negociar una licencia con Moonshot antes de usarlo comercialmente.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA