Un proyecto aficionado ejecuta un modelo de IA de 125.000 millones de parámetros con solo 8 GB de RAM
Útil para
El desarrollador MaxDevv creó Lean-QwenFlash, un proyecto que ejecuta Qwen3.8-Flash-Next, modelo abierto de Alibaba de 125.000 millones de parámetros, con su contexto completo de 262.144 tokens. Usa 16 GB de VRAM y 8 GB de RAM del sistema, cargando desde un SSD NVMe solo los expertos que se necesitan. Según el proyecto, alcanza 1.600 tokens por segundo en prefill y 20 tokens por segundo al generar texto.
Qué significa
Modelos muy grandes podrían usarse en equipos domésticos con gráficas modestas, porque solo se cargan en memoria las partes necesarias en cada momento.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- ai - Startup FortuneLeer la noticia completa en ai - Startup Fortune