Tokens discretos para representar imágenes sin pérdida semántica
Investigadores proponen Factorized Vector Quantization, que cuantiza vistas complementarias de las características visuales con codebooks paralelos. Según sus pruebas, el error de cuantización no determina la pérdida de significado: lo que importa es el número de bits disponibles. El modelo alcanza el rendimiento de las representaciones continuas en comprensión multimodal y supera a UniAR y Emu3-Chat en un 22,8% y un 59,2% en la media de nueve métricas.
Qué significa
Las imágenes podrían tratarse como tokens discretos, igual que el texto, y predecirse con el mismo método de próxima palabra. Esto simplifica el diseño de modelos que manejan texto e imagen a la vez.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers