Aficionados ejecutan modelos de IA de 284.000 millones de parámetros en portátiles gracias a la cuantización
Útil para
Un aficionado ejecutó DeepSeek V4 Flash, de 284.000 millones de parámetros, en un MacBook M5 Pro de 48 GB con streaming desde el SSD, a unos 5 tokens por segundo. La cuantización (Q4_K_M reduce un modelo de 70.000 millones de 140 GB a unos 38 GB) y la descarga de capas entre GPU y RAM permiten mover modelos grandes en hardware de consumo, aunque con pérdida de velocidad y precisión. El artículo vincula esta tendencia con la presión sobre la oferta de GPU en la nube, cuyo precio de contrato por hora de H100 subió cerca del 40% entre octubre de 2025 y marzo de 2026.
Qué significa
Los modelos abiertos de decenas de miles de millones de parámetros pueden funcionar en equipos de consumo, lo que reduce la necesidad de alquilar GPU en la nube para ciertas cargas de trabajo. Los modelos de más de un billón de parámetros siguen fuera de alcance salvo con descargas extremas a disco.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- ai - Startup FortuneLeer la noticia completa en ai - Startup Fortune