Entrenar aprendizaje por refuerzo más rápido con resultados bit a bit idénticos

Relevancia 51 de 100

El texto explica que las optimizaciones de inferencia en el aprendizaje por refuerzo de alto rendimiento cambian la numérica, de modo que el entrenamiento optimiza una política distinta de la que generó las muestras. En DeepSeek-V4-Flash, la divergencia KL entre entrenamiento e inferencia de la línea base subió de 2e-3 a 29,9 mientras la recompensa caía. Los autores modificaron los núcleos de vLLM para que el rollout y el entrenamiento den logprobs bit a bit idénticos, con un 91,3 % del rendimiento de rollout de la línea base, y lo aplicaron a Nemotron, donde la puntuación en SWE-bench Pro se mantiene mientras la línea base baja de 0,56 a 0,22. El proceso se publica en código abierto como habilidad de agente.

Qué significa

Quien entrene modelos con aprendizaje por refuerzo puede reutilizar el código publicado para hacer coincidir la numérica de muestreo y entrenamiento en un modelo nuevo, con menor coste.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

vLLM BlogLeer la noticia completa en vLLM Blog