Ternary-Nemotron-3.5-Lightning-30B-A3B: modelo de 1,58 bits que funciona en una GPU de 12 GB con 368K de contexto
Útil para
El usuario boro64 publica en Hugging Face una versión GGUF de Ternary Nemotron 30B-A3B, un modelo de mezcla de expertos con cuantización ternaria de 1,58 bits. Según la publicación, funciona en una GPU de 12 GB con 368K de contexto, a 172 tokens por segundo en decodificación y más de 7.000 en prefill. Es compatible con llama.cpp estándar y con la bifurcación PrismML, en un único archivo.
Qué significa
Permite ejecutar en local un modelo de 30.000 millones de parámetros en una tarjeta gráfica de 12 GB, sin depender de servicios en la nube. Interesa a quien quiera usar modelos grandes en equipos domésticos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA