Domingo 18 de octubre de 2026 ·
Un modelo de 9B que cabe en una GPU de 8 GB es dos veces más rápido que el de 27B, pero solo encontró 3 de 12 fallos en la revisión de código
Útil para
El autor probó Ternary-Bonsai-2-9B, un modelo cuantizado a pesos de tres valores de 2,4 GB, en una RTX 5060 de 8 GB. Generó unos 101 tokens por segundo frente a los 45 del modelo de 27B, y procesó la entrada unas 3,2 veces más rápido. Con un contexto de 122.000 tokens siguió dentro de la VRAM y generó 50 tokens por segundo. En una revisión de código con 12 fallos sembrados, el 9B encontró 3 y el 27B encontró 11, y el 9B no resolvió el problema de implementación en ninguna de las tres pruebas. La predicción de tokens (MTP) fue un 18% más lenta con texto en japonés.
Qué significa
Si tienes una GPU de 8 GB y necesitas respuestas rápidas para tareas generales, el modelo de 9B es una opción práctica. Para revisar código no es sustituto del de 27B, porque detectó muchos menos fallos.
Cómo te afecta
- Programadores
Para tu flujo local, el 9B en 8 GB genera unos 101 tokens por segundo, pero para revisar código usa el de 27B: en la prueba del autor encontró 11 de 12 fallos sembrados frente a 3 del 9B.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->