El mundo no espera: evaluar y entrenar agentes de IA con un reloj en marcha
Los autores presentan RealtimeBench, un benchmark de 180 tareas en seis tipos de juego que evalúa agentes basados en LLM mientras los juegos siguen corriendo durante la inferencia. Con el juego pausado, GPT-6.1-sol supera a Jev, pero con el juego en marcha queda por detrás. Proponen TORSI, un método en el que un profesor lento analiza fallos entre intentos y escribe instrucciones reutilizables para un alumno rápido que actúa sin llamar al profesor. Tras dos rondas, la puntuación media de Jev en test sube de 13,51 a 24,19 (escala 0-100), mejorando los seis tipos de juego, y las mismas instrucciones mejoran a otros tres modelos sin reajustarlos.
Qué significa
En entornos que cambian en tiempo real, un agente lento puede llegar tarde aunque sus respuestas sean correctas. Los resultados sugieren que dar instrucciones previas al agente puede mejorar su rendimiento sin entrenarlo de nuevo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI