Dónde daña reducir expertos en el prefill de modelos MoE: unos pocos tokens concentran la pérdida de F1 en respuestas cortas
Útil para
Reducir a la mitad los expertos enrutados durante el prefill abarata el servicio de modelos de mezcla de expertos (MoE). En cuatro familias de modelos, la pérdida de F1 en preguntas de respuesta corta se debe sobre todo a la forma de la respuesta: el modelo encuentra la respuesta pero deja de contestar brevemente. En Qwen3-30B-A3B el daño se concentra en dos tokens de la plantilla de chat, y mantener completo cerca de un 4% de los tokens en la interfaz de la tarea deja el F1 a un punto del modelo original.
Qué significa
Abaratar el servicio de modelos MoE puede hacerse protegiendo solo unos pocos tokens clave, lo que evita casi toda la pérdida de calidad en respuestas cortas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL