Jueves 22 de octubre de 2026 ·

CSD: destilación de conocimiento entre modelos de IA con tokenizadores distintos

Un nuevo artículo presenta Common-Support Distillation, un método para que un modelo alumno aprenda de un modelo profesor aunque usen vocabularios y segmentaciones de texto diferentes. Construye un soporte común en cada fragmento alineado y aplica un único objetivo de entrenamiento, con un soporte virtual calculado mediante la regla de la cadena cuando la alineación no es uno a uno. El método se evalúa en cuatro parejas profesor-alumno con Llama-3.2-1B y Gemma3.

Qué significa

Permite que modelos pequeños aprendan de modelos de otras familias sin tener que compartir tokenizador, lo que facilita entrenar modelos ligeros con el conocimiento de otros más potentes.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del jueves 22 de octubre de 2026 ->