Miércoles 28 de octubre de 2026 ·

Podríamos haber inventado los transformers a partir de la memoria

Relevancia 35 de 100

El autor explica cómo los modelos de lenguaje guardan datos a partir de tres componentes: las capas lineales, los MLP y la autoatención. Para medir la calidad de la memoria usa la relación entre señal y ruido, que indica cuánto estorban otros recuerdos al buscar uno. La capacidad de almacenamiento es el número de recuerdos que se pueden guardar antes de que el ruido iguale a la señal. Con ello propone estimar cuánta información cabe en cada capa.

Qué significa

Ayuda a entender por qué un modelo puede recordar tantos hechos y hasta dónde llega esa capacidad. Estos límites importan para saber qué puede esperarse de la memoria de un modelo.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 28 de octubre de 2026 ->