NEPSEE: nuevo benchmark de análisis de sentimiento para nepalí con doble anotación
Se presenta NEPSEE, un benchmark para análisis de sentimiento en nepalí construido con dos anotadores que etiquetaron de forma ciega 5.614 frases de tweets de figuras públicas; tras filtrar las coincidencias quedan 3.189 frases. En la tarea de tres clases, NepBERTa obtiene un macro-F1 de 0,877 e IndicBERTv2 de 0,867, mientras que tres LLM comerciales en modo zero-shot logran entre 0,882 y 0,896, sin diferencias significativas. En la escala de cinco puntos, Claude Opus 5.5 supera a los mejores codificadores en 0,10 a 0,12 puntos de macro-F1. Además, un análisis del tokenizador revela que los tokenizadores por defecto de tres modelos BERT para nepalí eliminan los signos vocálicos no espaciadores y el virama; restaurarlos mejora NepBERTa en 0,084 pero empeora un modelo preentrenado con texto sin esos signos en 0,095.
Fuentes
- arXiv cs.CLNEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis