Miércoles 4 de noviembre de 2026 ·
Mismas reglas, veredictos distintos: los jueces LLM son menos consistentes con rúbricas en coreano
Un estudio prueba si un LLM que evalúa diálogos de atención al cliente cambia su veredicto según el idioma de la rúbrica y la redacción de cada criterio. Con rúbricas en coreano, el acuerdo entre modelos de distintos proveedores es menor que con rúbricas en inglés (kappa 0,687 frente a 0,745). Los criterios negados, condicionales y de excepción generan más desacuerdos, y un mismo modelo cambia de veredicto entre dos criterios de igual significado en 11-15% de los casos. Los autores solo miden consistencia, no precisión frente a evaluadores humanos.
Qué significa
Para empresas que evalúan atención al cliente en coreano con jueces automáticos, el resultado depende del idioma y de cómo se formula cada regla. Esto pone en duda la fiabilidad de estas evaluaciones cuando se automatizan.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->