VibeVideoBench evalúa agentes multimodales que generan vídeo mediante código
VibeVideoBench es un benchmark de 239 tareas en inglés y chino, repartidas en 12 categorías, donde los agentes escriben código para entregar un MP4 con sonido en menos de una hora, sin modelos de generación de imagen o vídeo. Se evaluaron nueve sistemas con 2.151 ejecuciones: GPT-6 Astra y Claude Opus 5.5 ocupan los dos primeros puestos, y el mejor cumple todos los requisitos básicos en el 76,3% de las tareas. Tres cuartas partes de los vídeos perdidos son renders finales que empezaron tarde, fueron lentos o nunca arrancaron.
Qué significa
La mayoría de los fallos medidos se deben a una mala planificación del tiempo disponible, no a la falta de capacidad para generar el contenido, algo que cambia el foco al desarrollar agentes de vídeo por código.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers