Sábado 24 de octubre de 2026 ·
Cuánta VRAM necesita un LLM local: fórmula y tabla de modelos populares en 2026
Útil para
La VRAM necesaria es la suma del modelo, calculada como parámetros por tamaño según la cuantización, más la caché KV del contexto y unrededor de 1 GB de margen. Se recomienda la cuantización de 4 bits, que reduce mucho la memoria con poca pérdida de calidad. La caché KV crece con la longitud del texto: en un modelo de 32B pasar de 8.000 a 30.000 tokens añade unos 5 GB.
Qué significa
Explica que lo que limita qué modelos locales caben en una tarjeta gráfica es su memoria de vídeo, más que su potencia. Las conversaciones largas consumen más memoria, y los modelos Mixture of Experts ocupan toda su capacidad aunque generen texto más rápido.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Zennの「生成 AI」のフィードLeer la noticia completa en Zennの「生成 AI」のフィード
También ese día
Todas las noticias de IA del sábado 24 de octubre de 2026 ->