Miércoles 4 de noviembre de 2026 ·
Un desarrollador ejecuta un LLM local de 125B en dos equipos de consumo y reduce los bucles de razonamiento al bajar la cuantización
Útil para
El autor describe su configuración de inferencia local con un modelo MoE de 125B (6B activos) en dos equipos: un EVO-X2 con 128 GB y un PC con RTX 4070 Ti SUPER. Reporta mejoras de velocidad con MTP y ajustes de cuantización, y una poda de los pensamientos previos que reduce el consumo de contexto. Señala que, al bajar la cuantización de IQ3_XXS a IQ2_XS, los bucles de razonamiento pasan de 0,44% a entre 1,2% y 1,6% de los turnos, y que añadió un mecanismo para cortarlos.
Qué significa
Muestra que un modelo de gran tamaño puede correr en hardware de consumo, pero que la cuantización agresiva multiplica por unas tres veces los bucles de razonamiento. Para quien despliega modelos en local, el control del razonamiento y la detección de bucles pesan tanto como la velocidad.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->