Miércoles 28 de octubre de 2026 ·
Investigadores convierten en teorema la Hipótesis de la Representación Platónica con arquitecturas JEPA
El trabajo prueba que las arquitecturas JEPA entrenadas por separado en cualquier número de modalidades aprenden la misma representación, salvo una rotación, cuando sus pares positivos son dos observaciones de una misma escena. Los autores explican que la predicción del siguiente token es un JEPA con malas vistas, lo que explica por qué los modelos de lenguaje solo se alinean con la visión a base de escala. Un JEPA de texto de 109M parámetros se alinea mejor con los codificadores de imagen de DINOv2 y CLIP que los modelos de lenguaje evaluados de hasta 72B parámetros. Las buenas vistas necesitan 42 veces menos muestras de entrenamiento que la predicción del siguiente token para alcanzar la misma alineación.
Qué significa
Sugiere que entrenar modelos con vistas relacionadas de un mismo contenido puede ser mucho más eficiente que el método habitual de predicción de texto. Para los equipos que construyen modelos multimodales, supone una vía con menos datos y cómputo para lograr representaciones comparables.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->