Schema Coherence Inventory: medir si una creencia asignada organiza el comportamiento de un modelo de lenguaje
Los autores presentan el Schema Coherence Inventory, con 96 ítems de elección forzada basados en el modelo cognitivo de Beck y puntuados por log-verosimilitud. En seis estudios con 107 condiciones y cinco modelos de entre 1.700 millones y 14.000 millones de parámetros, las creencias asignadas se distinguen de forma específica (+17,7 puntos). Nueve evaluadores clínicos identifican la creencia correcta en el 79,5% de los casos, frente al 16,7% del azar.
Qué significa
Quien desarrolle simuladores de pacientes con IA tendrá una forma de comprobar si la creencia asignada guía de verdad las respuestas del modelo o si solo imita un estado de ánimo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL