Selección de canales en modelos MoE sin datos de calibración
Investigadores demuestran que los selectores de canales para modelos Mixture-of-Experts no necesitan datos de calibración. Elegir los k canales con mayor puntuación iguala o supera al umbral calibrado en 40 de 43 comparaciones con presupuestos del 13% y el 18%, y evita el colapso en bucles de repetición que provocan los umbrales en Gemma 4. Además, un lector construido solo con los pesos del modelo conserva el 98,1% de la precisión completa en tres modelos MoE posentrenados.
Qué significa
Quien despliegue modelos MoE podrá reducir la lectura de memoria durante la generación sin preparar datos de calibración previos. Esto facilita acelerar la inferencia interactiva con modelos grandes.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers