Con más de 6 billones de tokens al día, cómo SenseTime mejora la eficiencia de inferencia
Útil para
En el CSDI Summit de Shenzhen, Xuan Shanming, CTO de la plataforma Big Device de SenseTime, explicó que los agentes de IA multiplican por mil la demanda de tokens. Según datos citados, la inferencia supondrá el 55 % del gasto en IaaS de IA en 2026 y el 59 % en 2027. SenseTime separa la fase de prefill (chips nacionales) de la de decode (GPU de alto ancho de banda) y ha construido un clúster heterogéneo de decenas de miles de chips en Lingang. Los fallos de nodos decode pueden dejar inactivos muchos nodos prefill.
Qué significa
Para las empresas de IA, la ventaja ya no depende solo de cuánto cómputo tienen, sino de servir tokens a menor coste y con más estabilidad, mezclando chips de distintos tipos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- QbitAI 量子位 (CN)Leer la noticia completa en QbitAI 量子位 (CN)