Attention Is Not What You Need (2025): una arquitectura sin atención basada en flujos de Grassmann
Los autores proponen un modelo de secuencias que sustituye la atención por capas causales de Grassmann, que codifican pares locales de tokens como subespacios geométricos. En el benchmark de modelado de lenguaje Wikitext-2, modelos de 13 a 18 millones de parámetros quedan a un 10-15 % de la perplejidad de Transformers del mismo tamaño. El trabajo pone en duda que la atención explícita sea imprescindible para un buen rendimiento.
Qué significa
Ofrece una alternativa a la atención, mecanismo central de los Transformers que sostienen la mayoría de modelos de lenguaje actuales. De momento solo hay resultados con modelos pequeños en un único benchmark.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hacker News (historias con mas de 100 puntos)Leer la noticia completa en Hacker News (historias con mas de 100 puntos)