Video-Point Model: un modelo del mundo que predice videos y trayectorias 3D de puntos a partir de varias cámaras
Los investigadores presentan Video-Point Model (VPM), un modelo del mundo que, a partir de vídeos de varias cámaras y una instrucción en lenguaje natural, predice vídeos futuros desde cualquier punto de vista y las trayectorias 3D de puntos de la escena. Añade una cabeza de trayectorias y entrena con VPM-Data, un corpus de simulación, y VP-WorldBench, un benchmark con entornos simulados y reales. Según sus resultados, supervisar las trayectorias mejora la fidelidad del vídeo y la precisión del movimiento 3D frente a un modelo que solo usa vídeo, y el modelo también se extiende al control de robots añadiendo acciones como tokens.
Qué significa
Para la robótica, un modelo que predice cómo se mueven los puntos de una escena en 3D desde varias cámaras ofrece una representación común del entorno, en lugar de depender solo del vídeo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers