Miércoles 4 de noviembre de 2026 ·
Dónde guardan los modelos pequeños el razonamiento aprendido por destilación de modelos grandes
Los modelos pequeños pierden calidad al resolver soluciones largas de modelos grandes de razonamiento, por lo que se acortan mezclando el modelo grande con otro de respuestas cortas. Los autores comparan adaptadores LoRA de tres modelos alumnos y localizan un subespacio de pesos ligado al pensamiento tipo monólogo, con marcadores reflexivos y soluciones largas. Al eliminar ese subespacio, el comportamiento de pensar se desactiva en casi todos los casos probados. Injertado en un modelo de respuestas cortas, hace aparecer marcadores tempranos, aunque ese modelo rara vez termina.
Qué significa
Permite localizar en los pesos la parte que hace que un modelo pequeño piense en voz alta, lo que abre la vía a entender y controlar ese comportamiento de forma directa.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->