Nemotron 3.5 Bolt, pasable para pequeñas configuraciones multiusuario, según un usuario de Reddit
Útil para
Un usuario de Reddit prueba Nemotron 3.5 Bolt en un equipo de 128 GB con cuatro GPU MI100, un modelo pensado para el hardware Sparks. Bolt usa decodificadores cuantizados a 2 bits y una arquitectura con una capa de atención completa por cada cinco capas Mamba2. Según el autor, con un contexto de 256k ocupa unos 1 GB de caché KV, frente a 3,4 GB de Flash Next y 8,5 GB del modelo 27B. El autor considera que no supera al 27B, pero encaja en su equipo.
Qué significa
Quien ejecuta modelos en equipos propios con memoria limitada gana margen para contextos largos, ya que Bolt necesita bastante menos caché que Flash Next o el 27B.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA