Xiaomi publica como open source MiDashengLM-Spatial, un modelo de audio que entiende qué suena y de dónde viene
Xiaomi ha publicado los pesos y el código de inferencia de MiDashengLM-Spatial bajo licencia Apache 2.0, que permite uso comercial. El modelo, de unos 8.000 millones de parámetros según Hugging Face, parte de MiDashengLM-7B y añade un codificador de audio espacial llamado Spatial-Dasheng. Puede describir voz, sonidos ambientales y música, y además estimar la dirección, la distancia y el movimiento de la fuente sonora. Según el informe técnico, su rendimiento en tareas básicas de audio es comparable al de modelos de audio-lenguaje de tamaño similar, y Xiaomi lo presenta como el primer modelo open source de comprensión espacial de audio de extremo a extremo.
Qué significa
Para obtener información de dirección o distancia, el audio debe ser binaural de dos canales; con audio mono el modelo funciona pero no aporta datos direccionales.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Pandaily (CN)Leer la noticia completa en Pandaily (CN)
- TechNode (CN)Leer la noticia completa en TechNode (CN)