Visko despliega en TPUs de Google Cloud su modelo de mundo en vivo Orbis, con renderizado a 1,07x la velocidad de reproducción
La startup Visko, con ayuda de ingenieros de Google Cloud TPU, portó en 30 días su pipeline de inferencia en tiempo real Orbis (vídeo, superresolución y audio sincronizado) a un único slice de TPU en BF16. El sistema renderiza a 1,07x la velocidad de reproducción, usando paralelismo de contexto Ulysses, un kernel Pallas splash attention de MaxDiffusion y un audio en JAX nativo que es 5,8 veces más rápido que la versión en torchax. Google presenta el caso como guía para startups que construyan IA generativa de baja latencia.
Fuentes
- Google Cloud AI BlogHow Visko streams real-time world models on Google Cloud TPUs