Un modelo genera a la vez vídeo y movimiento 3D para cualquier esqueleto
Investigadores presentan un modelo que genera de forma conjunta vídeo y movimiento 3D para cualquier esqueleto (rig), además de una cámara que sitúa ese movimiento en la escena. El movimiento 3D se gestiona en un modelo separado que se conecta a un modelo de vídeo preentrenado mediante unas pocas capas de atención cruzada. Para entrenarlo usan unas 200.000 parejas de datos, y según sus pruebas sigue mejor el texto que los sistemas que parten del vídeo.
Qué significa
Permite obtener animaciones 3D reproducibles a partir de texto, no solo vídeo. Por ejemplo, un mono que salta una barra podría convertirse en un movimiento 3D colocable en una escena de animación.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers