Whisper acierta solo el 34% de los números de teléfono dictados en alemán y francés
Un investigador presenta VoxEntity-EU, un benchmark que mide si los sistemas de reconocimiento de voz (ASR) capturan con exactitud nombres, teléfonos, correos, fechas, direcciones y códigos dictados en alemán y francés, dando fallo ante cualquier carácter erróneo. Whisper acierta el 34% de los teléfonos dictados frente al 91% cuando el mismo texto se escribe. Los dos sistemas ASR evaluados no muestran diferencia estadísticamente significativa (−2,9 pp, IC 95% [−7,1; +1,3]), resultado publicado como nulo. El dataset, con audio, y el código están disponibles en Hugging Face y GitHub.
Fuentes
- Reddit r/MachineLearningI benchmarked whether ASR captures a dictated phone number exactly, in German and French. Whisper: 34% exact. Same text written down: 91% [P]