Strata hace funcionar en un RTX 4090 doméstico un modelo de 125.000 millones de parámetros
Útil para
Strata, una técnica publicada el 24 de septiembre para LLM locales, reparte los datos del modelo entre VRAM, RAM y SSD, lo que permite ejecutar modelos que antes no cabían en un PC de consumo. Por ahora solo admite Qwen3.8-Flash-Next, de Alibaba, que tiene 125.000 millones de parámetros pero activa 6.000 millones por consulta gracias a su arquitectura MoE. El autor lo probó con una RTX 4090 y 64 GB de RAM usando un archivo de 83,86 GB, y alcanzó unos 80 tokens por segundo.
Qué significa
Los usuarios con una GPU de consumo y mucha RAM pueden ejecutar en local modelos que antes exigían un Mac Studio o hardware profesional. Por ahora esto solo funciona con Qwen3.8-Flash-Next.
Cómo te afecta
- Programadores
Con una RTX 4090 y 64 GB de RAM, el autor corrió Qwen3.8-Flash-Next con un archivo de 83,86 GB a unos 80 tokens por segundo. Es una sola medición propia, solo para ese modelo, así que mídelo tú antes de meterlo en tu flujo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Menthas #machine-learningLeer la noticia completa en Menthas #machine-learning