EvaOmni, un benchmark con evidencias para evaluar el razonamiento audiovisual de los modelos omni
Se presenta EvaOmni, un benchmark con 392 vídeos y 1.027 pares de pregunta y respuesta anotados por humanos, repartidos en 15 capacidades y tres niveles: localización y recuperación, comprensión básica y razonamiento complejo. Además de la respuesta, los modelos deben indicar los intervalos de audio y vídeo que la sustentan, y se eliminan atajos textuales o de una sola modalidad. Para medirlo, los autores proponen la Coverage Grounded Score (C.G.), que mide cuánta evidencia anotada identifica el modelo, y la Bottleneck Grounded Score (B.G.), que penaliza una mala localización temporal.
Qué significa
Las pruebas dejan de premiar solo acertar la respuesta: un modelo debe mostrar en qué momento del audio y del vídeo se apoya, lo que permite distinguir razonamiento real de adivinanza.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers