¿Rompe la personalización la confianza? Calibración del rechazo de intenciones fuera de alcance tras adaptación en el dispositivo
Los autores muestran que adaptar asistentes virtuales en el dispositivo con pocos ejemplos mediante LoRA empeora la detección de entradas fuera de alcance en los cinco benchmarks de clasificación de intenciones probados, con caídas medias de AUROC de 0,055 a 0,258, mientras la precisión dentro del alcance se mantiene. Parte de la caída se debe a la mala calibración del puntuador de confianza habitual, pero persiste un efecto real menor, que atribuyen a una reducción del margen de embeddings alrededor de las intenciones conocidas. Puntuar el rechazo con distancia de Mahalanobis en lugar de confianza softmax, sin reentrenar, recupera gran parte de la calidad perdida en 3 de 5 datasets sin coste en precisión y supera a otras dos líneas base de OOD. Los autores también señalan dónde la solución se queda corta.
Qué significa
Quien personalice un asistente en el dispositivo con LoRA debe comprobar cómo rechaza las peticiones desconocidas, y puede cambiar el criterio de puntuación a Mahalanobis sin reentrenar el modelo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL