Un estudio muestra que pedir respuestas en JSON hace caer la precisión de un modelo en matemáticas del 86,5% al 23,4%
Útil para
Una investigación con un modelo pequeño halló que obligar a responder en JSON reducía su acierto en problemas de aritmética del 86,5% al 23,4%. La causa no era el formato, sino que la clave de la respuesta aparecía antes que la del razonamiento, de modo que el modelo respondía antes de pensar. Al cambiar el orden de las claves, el resultado no caía. La autora aplica esa misma idea a su propio registro diario, en el que escribía el título antes que el contenido.
Qué significa
El orden en que un modelo escribe la respuesta y el razonamiento influye mucho en su precisión, así que pedir datos estructurados no es malo por sí mismo. Si el modelo escribe primero la conclusión y después la justifica, puede acabar defendiendo una respuesta equivocada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ