Martes 27 de octubre de 2026 ·

Modelos locales de 35.000 millones de parámetros alcanzan 125 tokens por segundo en una RTX 4070 Ti SUPER para programar

Relevancia 51 de 100

Útil para Programadores 88%

El autor dice que con una RTX 4070 Ti SUPER de 16 GB, el modelo denso Qwen 3.8 27B solo genera entre 10 y 20 tokens por segundo, insuficientes para un agente de programación cómodo, que necesita entre 100 y 150. Prueba dos modelos MoE, Tiel-Coder-35B-A3B y una variante sin filtros, con predicción multi-token y una plantilla de chat optimizada. Según sus cifras, la predicción multi-token mejora la velocidad un 20% y la arquitectura MoE entre un 200% y un 450%.

Qué significa

Quien tenga una tarjeta de gama media con 16 GB podría ejecutar un agente de programación en su propio equipo sin depender de servicios en la nube. Hasta ahora, según el autor, esa velocidad no era posible con modelos de esa tarjeta.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 27 de octubre de 2026 ->