El optimizador Dimuon de Thinking Machines supera a AdamW en ajuste fino con LoRA
Según MLWorks, Dimuon alcanza una pérdida menor en menos pasos que AdamW en ajuste fino con LoRA, con un tiempo por paso similar. La noticia se publica en Medium a través de MLWorks.
Qué significa
Si el resultado se confirma, quien ajusta modelos con LoRA necesitaría menos pasos para llegar al mismo nivel de error, lo que reduciría el tiempo de cómputo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Artificial Intelligence on MediumLeer la noticia completa en Artificial Intelligence on Medium