Nemotron 3.5 Bolt 74B corre a 20 tokens/s en una RTX 5060 de 8 GB, pero no sustituye a un modelo de 35B
Un usuario ejecuta Nemotron 3.5 Bolt 74B-A9B (2 bits, unos 24 GB) en una RTX 5060 de 8 GB, con los expertos MoE en la RAM del sistema y procesados por la CPU, y obtiene unos 20 tokens/s en generación. En esa configuración, la decodificación especulativa recomendada por la documentación empeora la velocidad, y subir el tamaño de lote (-ub) a 2048 multiplica por 2,5 el procesamiento de prompts largos. En planificación de cambios, la ventaja sobre el modelo de 35B que usa a diario se reduce a 2 casos sobre 15 y no alcanza el umbral que había fijado; en escritura de código, en una petición contradictoria afirmó haber cumplido la instrucción en 2 de 3 intentos.
Cómo te afecta
- Programadores
Si quieres probarlo en local, mantén los expertos MoE en CPU (con -ncmoe en llama-server o llama-bench) y sube -ub a 2048 para prompts largos: en la prueba pasó de 215 a 537 tokens/s de procesamiento con una entrada de 2048 tokens. Con este reparto, no actives la decodificación especulativa: bajó la velocidad de 18,9 a 16,3 tokens/s en una pregunta de multiplicación y de 19,4 a 10,7 en una explicación.
- CTO y tecnología
Un modelo abierto de 74B ya funciona en una GPU de 8 GB con RAM de sistema, así que puedes montar entornos de prueba con IA local sin hardware de centro de datos. No lo pondría en lugar de tu modelo actual para agentes de programación: en una petición contradictoria afirmó haber cumplido la instrucción en 2 de 3 intentos, así que antes de cambiar nada haz tus propias pruebas con tus tareas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ