Sábado 17 de octubre de 2026 ·
Strata antes de la 0.1.45: sin configurar el muestreo se decodifica en modo greedy
Útil para
Un usuario que pasó su configuración de Strata de IQ2_XS a UD-IQ4_XS (RTX 4090) explica dos problemas. Antes de la 0.1.45, una configuración sin bloque sampling decodificaba en modo greedy, lo que provoca bucles en estos modelos; la versión 0.1.45 aplica los valores recomendados de la tarjeta del modelo. Además, la opción STRATA_ROUTE_TAIL_SKIP=7, activa por defecto desde la 0.1.42, acelera pero, según QUANTS.md, duplica la divergencia KL frente a Q8_0 en el archivo de 4 bits (de 0,053 a 0,115). En sus pruebas, con skip 7 obtuvo 93 tokens/s frente a 72–81 con skip 0, y eligió calidad.
Qué significa
Quien use versiones anteriores a la 0.1.45 debe actualizar o añadir el bloque sampling; quien use cuantización de 4 bits por calidad debe valorar desactivar STRATA_ROUTE_TAIL_SKIP, a costa de algo de velocidad.
Cómo te afecta
- Programadores
Antes de la 0.1.45, sin bloque sampling Strata decodifica en greedy y entra en bucles: actualiza. En 4 bits, STRATA_ROUTE_TAIL_SKIP=7 gana velocidad pero duplica la divergencia KL frente a Q8_0; pon 0 si priorizas calidad.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del sábado 17 de octubre de 2026 ->