Jueves 5 de noviembre de 2026 ·
Ajustan a mano el router de GLM-5.3 en un PC local y las lecturas de SSD caen a menos de la mitad
Útil para
Un usuario ejecuta GLM-5.3-Flash (cuantizado) en su PC con dos Radeon RX 7800 XT usando el servidor local Strata, con expertos repartidos entre VRAM, RAM y SSD. Inspirado en el trabajo de MIT CSAIL sobre programación en el espacio de pesos, corrigió la precisión de los bias del router, que se habían redondeado a BF16, en 42 capas (24.192 bytes). Las lecturas de SSD bajaron de 13,8 a 5,7 por token en una prueba (−59%), y de 9,3 a 4,1 en 65 tareas reales, con una generación un 15-19% más rápida. Según la prueba de calidad (37 preguntas), el cambio se mantiene dentro del margen de error, y las respuestas en japonés y las llamadas a herramientas siguen funcionando.
Qué significa
Quien ejecuta modelos grandes en un PC con poca memoria de vídeo puede ganar velocidad sin cambiar de hardware, aunque el resultado procede de un solo equipo y una sola configuración.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 5 de noviembre de 2026 ->