Texto a imagen en ESP32: un transformador de difusión dentro de un microcontrolador
El autor consigue generar imágenes a partir de texto directamente en un ESP32-S3, con 512 KB de RAM, dos núcleos a 240 MHz y sin aceleradores de IA. El modelo es una difusión latente con transformador (DiT), cuantizada a int8 y con partes en ensamblador para las instrucciones vectoriales del chip, entrenada sobre CelebA para generar rostros de 64×64 píxeles. Con la frase «una sonriente chica de pelo claro» tarda 5,4 segundos en producir la imagen.
Qué significa
Demuestra que la generación de imágenes con difusión puede ejecutarse sin nube en hardware muy barato, aunque limitada a resoluciones muy pequeñas y a un dominio concreto como rostros.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr IA (RU)Leer la noticia completa en Habr IA (RU)