Más allá de on-policy y off-policy: ¿a qué nivel debe seguir la destilación de agentes LLM al estudiante?
Un artículo propone separar la destilación de agentes LLM en dos niveles: el historial de interacción y el prefijo de acciones del modelo alumno. Prueba su marco jerárquico con tres modelos y cuatro entornos interactivos. El mejor resultado por sí solo aparece cuando el historial lo genera el alumno y los prefijos de acción los genera el profesor. Seguir al alumno en ambos niveles da los peores resultados, aunque las mezclas bien dosificadas sí aportan.
Qué significa
La forma de mezclar los datos que genera el modelo grande y el pequeño cambia mucho el resultado al entrenar agentes compactos. El diseño de la mezcla pesa tanto como elegir una técnica u otra.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI