Framework en Rust que reproduce bit a bit los resultados de PyTorch al entrenar nanoGPT
Un estudiante de informática creó DenseCore, un framework de deep learning en Rust con una API parecida a PyTorch. Según el autor, al ejecutar nanoGPT sin cambios con import torch apuntando a DenseCore, los pesos, las pérdidas y los gradientes coinciden bit a bit con PyTorch en 50 pasos, incluso con dropout. Dice que PyTorch no coincide consigo mismo entre Mac y Linux x86, y que su framework solo coincide con PyTorch en Macs con Apple Silicon. Pesa unos 2 MB, frente a unos 580 MB de PyTorch, y el autor pregunta si merece la pena seguir.
Qué significa
Para quien busque una alternativa ligera a PyTorch en tareas pequeñas de CPU, como serverless o CI, esta opción está en estudio. Además, el texto muestra que dos ejecuciones de PyTorch en máquinas distintas pueden dar resultados diferentes.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/MachineLearningLeer la noticia completa en Reddit r/MachineLearning