Sábado 31 de octubre de 2026 ·
GELU, la función de activación que usan los Transformers como BERT, explicada con Python
El artículo explica GELU (Gaussian Error Linear Unit), propuesta en 2016 por Dan Hendrycks y Kevin Gimpel, y la compara con ReLU, que anula las entradas negativas. GELU escala cada valor de forma suave según su magnitud. Según el artículo original, mejoró sobre funciones tradicionales en visión por computador, procesamiento del lenguaje y voz. El texto implementa ambas funciones en Python.
Qué significa
Es una pieza técnica de fondo: ayuda a entender por qué muchos modelos Transformer usan GELU en lugar de ReLU, una de las decisiones de diseño que influyen en cómo aprenden las redes neuronales.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Machine Learning - Analytics VidhyaLeer la noticia completa en Machine Learning - Analytics Vidhya
También ese día
Todas las noticias de IA del sábado 31 de octubre de 2026 ->