Jueves 22 de octubre de 2026 ·
Dos PC de consumo unidos por RPC igualan 96 GB de VRAM para ejecutar LLM abiertos
Útil para
El autor conectó dos equipos domésticos por cable LAN y usó llama.cpp con RPC para repartir por capas modelos de lenguaje entre sus GPU. El enlace alcanza unos 4,7 Gbps (unos 500 MB/s). Midió seis LLM abiertos: el modelo denso Llama-3.3-70B llegó a unos 10 tokens por segundo, mientras que el MoE Qwen3.6-35B-A3B, que activa solo 3B parámetros por token, va bastante más rápido.
Qué significa
Los modelos de tipo MoE, que activan pocos parámetros por token, son mucho más viables en configuraciones domésticas con varias GPU de consumo que los modelos densos del mismo tamaño.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 22 de octubre de 2026 ->