Usuario de Reddit crea un motor que ejecuta Qwen-Flash-Next a casi 400 tokens por segundo en tres V100 de 32 GB
Útil para
El usuario u/jfinkpottery presenta un motor que ejecuta Qwen-Flash-Next a casi 400 tokens por segundo con tres GPU V100 de 32 GB instaladas en un servidor R740 antiguo. El proyecto parte de un fork de strata y adapta el motor a la arquitectura Volta de NVIDIA.
Qué significa
Muestra que hardware de servidor antiguo puede ejecutar modelos recientes a alta velocidad, lo que podría abaratar la IA en local. El proyecto está pensado para GPU de la generación Volta, anterior a las actuales.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA