Drama3 en audio.cpp: hasta 5× tiempo real con GPU completa o 2× con menos de 8 GB de VRAM en una RTX 5090
El soporte de Drama3 en audio.cpp fue aportado por JarodMica y funciona en CUDA, Vulkan y Metal, aunque las optimizaciones se han centrado en CUDA. En una RTX 5090 con cuantización Q4_K, la versión CUDA completa con chunk de 512 usa unos 26.990 MiB de VRAM y un RTF medio de 0,195, mientras que con descarga de pesos a CPU baja a 9.680 MiB (RTF 0,484) y, con chunk de 256, a 7.782 MiB (RTF 0,521). En Vulkan, la versión completa usa 27.234 MiB (RTF 0,247). Los desarrolladores señalan problemas: una petición en Vulkan alcanzó el límite de tokens y hay silencios inesperados en la generación multihablante.
Qué significa
Quien tenga una RTX 5090 puede generar audio con Drama3 usando menos de 8 GB de VRAM a costa de velocidad, con la configuración de chunk de 256 y descarga a CPU. Los usuarios de Vulkan tienen resultados más lentos y aún no está listo para una versión menor.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA