Miércoles 28 de octubre de 2026 ·

Estudiantes de la HSE y VK buscan igualar la calidad de la atención lineal con la de un transformador

Relevancia 38 de 100

Un equipo de estudiantes de la mesa de servicios y plataformas de IA de la Escuela de Ingeniería Matemática de la HSE y de VK prueba cómo mejorar modelos con atención lineal hasta el nivel de un transformador estándar. La atención lineal evita el crecimiento cuadrático del cómputo con secuencias largas y permite guardar un estado de tamaño fijo en lugar de una caché KV creciente. Su hipótesis es que el retraso de calidad se debe también a la configuración de cabezas, la codificación posicional y la disposición de capas, además de al softmax, y analizan el efecto de cambiar esos componentes y del preentrenamiento MLM.

Qué significa

Si la hipótesis se confirma, los modelos de atención lineal podrían procesar documentos largos con menos memoria y menos cómputo sin perder calidad. El trabajo busca acercar esta alternativa a los transformadores que hoy dominan la industria.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 28 de octubre de 2026 ->