KLD no es la mejor métrica para destilar modelos y no existe una única métrica ideal
Útil para
Un investigador responde a quienes defienden la divergencia KL (KLD) como la mejor métrica en destilación y a quienes preguntan qué usar en su lugar. Explica que tras optimizar la pérdida KL entre el modelo maestro y el alumno todavía vienen fases de SFT y RL, que mejoran la capacidad real de resolver tareas aunque empeoren el KLD. Cita como ejemplo los modelos Bonsai de PrismML, cuyo KLD llamativo podría ocultar un entrenamiento adicional que los hace mejores.
Qué significa
Medir un modelo pequeño solo por su KLD frente al modelo original puede dar una imagen engañosa, porque el KLD puede empeorar mientras el modelo rinde mejor en tareas. Eso cambia cómo los laboratorios deben evaluar modelos destilados.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA