Lunes 2 de noviembre de 2026 ·
Podar cabezas de atención redundantes reduce la memorización literal en GPT-2-XL
Investigadores demuestran que anular antes de la inferencia una parte considerable de las cabezas de atención redundantes suprime la reproducción literal de secuencias memorizadas. En GPT-2-XL (1.500 millones de parámetros), podar 729 cabezas reduce el recuento de memorización un 91,5 % y mejora la perplejidad en WikiText-103 en 0,92. El método no requiere reentrenar el modelo ni modificar sus datos de entrenamiento.
Qué significa
Ofrece una vía para reducir fugas de privacidad y de propiedad intelectual en modelos de lenguaje ya desplegados, sin reentrenarlos. Es una técnica que actúa en el momento de usar el modelo, no al entrenarlo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del lunes 2 de noviembre de 2026 ->