Ocho modelos de lenguaje en una FPGA de 50 dólares: la memoria DDR3 frena la generación de texto
El autor ejecuta 165 pruebas con ocho modelos de lenguaje en una placa FPGA Kintex-7 usada, comprada por unos 50 dólares, con un TPU de código abierto (openTPU), a 133 MHz y 9,7 vatios. Todas las ejecuciones terminaron con éxito. Qwen3-0.6B alcanza 35 tokens por segundo y LFM2.5-230M 95 con pesos de 4 bits, pero la memoria DDR3 trabaja al 92-96 % de su límite durante la generación, por lo que la matriz de 512 multiplicadores recibe menos de una cuarta parte de su capacidad al generar texto.
Qué significa
Para quien quiera IA local con hardware barato, el límite es la memoria y no el cálculo: añadir más procesamiento no acelera la generación de texto. Según el autor, usar pesos de 4 bits en lugar de 8 mejora la velocidad entre 1,4 y 1,8 veces.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr IA (RU)Leer la noticia completa en Habr IA (RU)