SenseTime muestra cómo separa el prefill y el decode en clústeres para inferencia agéntica
Útil para
En la cumbre CSDI de Shenzhen del 16 de octubre, el CTO de SenseCore, Xuan Shanming, explicó cómo reconstruyen su infraestructura de inferencia para flujos de trabajo con varios agentes. La clave es separar el prefill (procesar la entrada, intensivo en cómputo) del decode (generar la salida, que necesita mucho ancho de banda de memoria) en clústeres heterogéneos de unas 10.000 GPU en su centro de datos de Lingang. Según la empresa, en una configuración de prueba con el mismo número de GPU de gama alta obtuvo unas cinco veces más rendimiento de tokens.
Qué significa
Para quien opera centros de datos de IA, muestra una forma de combinar aceleradores nacionales con GPU de alto ancho de banda para servir más tokens. Las cifras de rendimiento proceden de la propia empresa.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Pandaily (CN)Leer la noticia completa en Pandaily (CN)