Google libera ML Drift, su motor de inferencia GPU para dispositivos, bajo licencia Apache 2.0

Relevancia 62 de 100 Estados Unidos, California

Google AI Edge publica en código abierto ML Drift, un motor GPU multiplataforma para inferencia de IA en dispositivos, con soporte para OpenGL ES, OpenCL, Metal y WebGPU, que actúa como núcleo de aceleración de LiteRT y sustituye al delegado GPU de TensorFlow Lite, que ya no recibirá nuevas funciones. Incluye tensores virtualizados, soporte nativo de tensores 5D y optimizaciones por fase para LLM en el edge, con hasta un 12% menos de sobrecarga de memoria en pruebas con Gemma. Ya se usa en productos como YouTube Shorts (hasta un 40% menos de latencia por fotograma), Google Photos, Chrome, Adobe Lightroom y Photoshop (hasta un 30% más rápido) y Snapchat (un 30% menos de latencia).

Fuentes

Google Developers BlogML Drift: Next-Gen GPU AI/ML Inference at the Edge