HeRE: nuevo benchmark para la extracción de relaciones en hebreo
Los autores presentan HeRE, un benchmark para evaluar la extracción de relaciones en hebreo, una lengua de bajos recursos. Lo construyen con un método guiado por LLM que limpia alineaciones ruidosas entre bases de conocimiento y textos, sin recurrir a la traducción desde el inglés. Los modelos multilingües superan a los específicos para hebreo con pocos ejemplos, y el mejor modelo abierto, Gemma-4-31B-it, alcanza un F1 de 0,915, igualando al mejor modelo accesible por API.
Qué significa
Ofrece a los desarrolladores de sistemas en hebreo un banco de pruebas nativo, en lugar de datos traducidos del inglés, para medir qué modelos funcionan de verdad en ese idioma.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL