Martes 20 de octubre de 2026 ·
Los transformers olvidan el prompt: un teorema de "sin pelo" condicional
El artículo estudia cuánta información del prompt retiene un transformer autorregresivo al generar tokens. La distancia entre estados ocultos decae aproximadamente como una ley de potencia, más rápido en modelos entrenados (alfa de 0,55 a 0,7) que en los no entrenados (0,2 a 0,5). Los autores demuestran una cota que indica que la influencia directa del prompt se diluye a medida que crece el contexto.
Qué significa
Explica por qué un modelo de lenguaje pierde las instrucciones iniciales a medida que escribe más texto. Las propiedades del prompt que sobreviven, como el idioma, se transmiten a través del propio texto generado.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->