Inferencia local y distribuida de LLM grandes con MLX y RDMA en Mac Studio
Un artículo explica cómo ejecutar modelos de lenguaje muy grandes en local con MLX sobre Mac Studio. Según el texto, el modelo Muse Spark Open, de casi un billón de parámetros, genera más de 36 tokens por segundo en un clúster de cuatro Mac Studio. El escalado se hace con el driver RDMA over Thunderbolt, partiendo de una sola Mac Studio de hasta 512 GB de memoria unificada. Se comparan los M5 Ultra y M3 Ultra con varios LLM de pesos abiertos.
Qué significa
Quien tenga una Mac Studio con mucha memoria puede probar modelos de gran tamaño en su propio equipo, sin enviar datos a la nube. Para modelos del tamaño de Muse Spark Open se necesita un clúster de varias máquinas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Apple Machine Learning ResearchLeer la noticia completa en Apple Machine Learning Research