Martes 20 de octubre de 2026 ·
Decisions API de OpenAI frente a Jev 1.14 como juez de reordenación en RAG
Útil para
El autor compara la Decisions API de OpenAI (modelo gpt-6-luna, en beta pública) con Jev 1.14 como evaluadores de relevancia en la fase de reranking de un sistema RAG. Con los candidatos evaluados uno a uno, ambos no mostraron diferencias claras al ordenar documentos para una misma pregunta. Al usar un único umbral para todas las preguntas, Decisions API quedó por debajo de Jev en MIRACL japonés y en J-RAGBench, donde puntuó con 0.00 el 30 % de los documentos relevantes. Por coste, cada evaluación individual salió unas dos veces más cara.
Qué significa
Para quien monte búsquedas con RAG en japonés o con datos similares, la Decisions API de OpenAI no mejora a Jev y cuesta más por evaluación, así que la elección entre ambas depende sobre todo del precio y del umbral.
Cómo te afecta
- Programadores
Si eliges reranker para tu RAG en japonés, no adoptes la Decisions API por defecto: con un umbral único puntuó con 0.00 el 30 % de los documentos relevantes en J-RAGBench, y cada evaluación sale unas dos veces más cara que con Jev 1.14. Además está en beta pública.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->