Crear un GPT propio #34: progreso del preentrenamiento de Marin-v2
Tras 19 días de preentrenamiento, el modelo Marin-v2 ha completado el 52 % de los pasos (23.600 de 45.541) y ha procesado unos 12.400 millones de tokens. La pérdida de validación (eval loss) bajó hasta cerca de 3,03, aunque la mejora se ha ralentizado. No hay señales de picos ni sobreajuste, así que el entrenamiento continúa, y la tasa de aprendizaje empezará a decaer en el paso 36.433.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ