Miércoles 14 de octubre de 2026 ·
Pruebas de regresión de prompts: un modelo de IA como lector dejó pasar tres de cuatro textos que corregí
Útil para
El autor prueba los prompts de agentes que escriben y revisan textos con un conjunto de ejemplos de resultado conocido, donde un modelo de IA hace de lector. Los textos muy corregidos a mano el modelo los dejaba pasar con más frecuencia de la que los devolvía. Como referencia usa la versión publicada frente a la generada por el agente, medida por la proporción de frases idénticas con SequenceMatcher: por debajo del 85 % es mal ejemplo y desde el 95 % es buen ejemplo, y lo intermedio se descarta. No usa la puntuación del modelo juez, porque la referencia debe venir de una persona.
Qué significa
Si validas prompts con un LLM como juez, puede aprobar textos defectuosos; conviene usar como referencia una decisión humana, como la versión final publicada.
Cómo te afecta
- Programadores
Si montas agentes que escriben o revisan textos, no te fíes de un modelo lector que solo te dé aprobados: el autor vio que aceptaba más textos malos de los que rechazaba. Antes de usar tus pruebas de regresión, compruébalas con ejemplos cuya respuesta conoces, como hizo él al usar la similitud de frases con la versión publicada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)
También ese día
Todas las noticias de IA del miércoles 14 de octubre de 2026 ->