Modelos abiertos frente a la nube: qué puede manejar una CPU normal para subtítulos en vivo en llamadas
El autor probó reconocimiento de voz en ruso con modelos abiertos (T-one, GigaAM) en un servidor solo con CPU, para comparar con el API en la nube de Deepgram. Su conclusión principal es que el hardware pesa más que el modelo: un chunk del modelo acústico en un Xeon de 2013 sin AVX2 cuesta 2,5 veces más que en un Xeon moderno con AVX2, y hasta 5 veces bajo carga total. Motivo del proyecto: las llamadas acumulan muchas horas y pueden contener datos sensibles que no quiere enviar a la nube. El texto recoge el requisito de que cada frase aparezca como máximo 2 segundos después de pronunciarse.
Qué significa
Calcular si conviene un ASR propio contando vCPU del hosting no sirve de mucho: la generación del procesador, y en particular el soporte de AVX2, cambia mucho el coste. Quien quiera subtítulos locales debe medir con su propio hardware.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)