Orchestro sube un 62,8% el rendimiento de GPU con optimización de inferencia de IA
Útil para
Orchestro, empresa coreana de software para infraestructura de IA, presentará su plataforma Concerto AI en un webinar el 27 de octubre. Según sus pruebas, la plataforma separa las fases de prefill y decode de los modelos de lenguaje, lo que aumenta un 62,8% la capacidad de procesamiento con las mismas GPU y reduce un 52,1% la latencia de generación de tokens. Con almacenamiento de NetApp, la carga de pesos del modelo baja de 71 a 8 segundos.
Qué significa
Las empresas que ya tienen GPU podrían obtener más rendimiento sin comprar hardware nuevo, algo que reduce la presión de inversión en infraestructura de IA. La cifra procede de la propia empresa, según sus pruebas internas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 지디넷코리아Leer la noticia completa en 지디넷코리아