Un modelo de IA repartido entre cinco dispositivos domésticos alcanza 37-39 tokens por segundo
El autor conectó dos PC de juego, un MacBook Pro M4 Pro y dos iPhone 17 Pro Max para ejecutar Qwen 3.8 Flash Next, un modelo de mezcla de expertos de 48 capas que no cabe en ningún equipo por separado. Cada dispositivo ejecuta capas distintas, los iPhone calculan parte de los expertos, y los equipos se comunican por Ethernet, o por USB-C a 10 Gb/s en el caso de los iPhone. Usando un modelo de borrador que anticipa tokens, el sistema llega a 37-39 tokens por segundo con un contexto de 60.000 tokens, según el autor. El autor advierte que la cifra de prefill del vídeo cuenta tokens en caché y sale inflada; las cifras reales son las de los subtítulos.
Qué significa
Muestra que un modelo demasiado grande para un solo equipo puede repartirse entre varios dispositivos domésticos de consumo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA