Martes 20 de octubre de 2026 ·
Usuario busca ampliar su servidor de IA con presupuesto de 600 a 900 dólares para correr Gemma 4 31B a 15 tokens por segundo
Útil para
El autor ejecuta Gemma 4 31B cuantizado en Q5_K_M con una RTX 3060 de 12 GB y 32 GB de RAM, y obtiene unos 2,3 tokens por segundo con el 53 % de la carga en CPU. Plantea añadir una RTX 5060 Ti de 16 GB, unos 750 dólares, para tener 28 GB de VRAM combinada, o bien dos Tesla P100 de 16 GB en una placa X79 o X99. Pregunta cuánto afecta a su rendimiento el enlace PCIe x1.
Qué significa
Ilustra lo caro que resulta ejecutar en local modelos densos grandes: para pasar de 2,3 a 15 tokens por segundo hace falta suficiente VRAM para no descargar capas en la CPU.
Cómo te afecta
- Programadores
Si corres modelos densos en local, el dato útil es la VRAM: con el 53 % de la carga en CPU, Gemma 4 31B baja a 2,3 tokens por segundo. Comprueba que el modelo cuantizado cabe entero en VRAM antes de dar por buena cualquier configuración.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->