Una youtuber entrena un modelo de lenguaje de 30 millones de parámetros que funciona en un ESP32
La youtuber Marina entrenó desde cero un modelo de lenguaje llamado PocketGPT, de unos 30 millones de parámetros, que se ejecuta en un microcontrolador ESP32-S3 y mantiene conversaciones cortas. El modelo tarda casi 12 segundos en responder y usa pesos de 4 bits para caber en la memoria. Se entrenó con unos 300 millones de tokens, sobre todo con cuentos infantiles generados por IA y páginas educativas, y su vídeo supera las 158.000 visualizaciones.
Qué significa
Muestra que un modelo de lenguaje muy reducido puede correr en un microcontrolador, aunque con respuestas lentas y muy básicas, lo que abre la puerta a dispositivos con IA local.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- heise online (DE)Leer la noticia completa en heise online (DE)