Qué es la destilación de modelos de IA: un modelo grande enseña a uno pequeño
Útil para
La destilación entrena un modelo pequeño (alumno) con las respuestas o probabilidades de un modelo grande (maestro), para que imite sus predicciones. El objetivo es conservar parte de su capacidad con menos cálculo y memoria. El alumno se entrena por separado: no se recorta el modelo original ni se copian sus valores internos.
Qué significa
Los modelos pequeños derivados de otros grandes pueden funcionar con menos memoria y a menor coste por uso, lo que facilita usarlos en equipos domésticos y servicios con muchas consultas, aunque con menos capacidad que el original.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ