4Paradigm y RiseUnion publican como código abierto ModelSphere para servir LLM en hardware heterogéneo

Relevancia 43 de 100 China, Pekín

4Paradigm y RiseUnion han liberado ModelSphere bajo licencia Apache 2.0, una plataforma de despliegue de IA que se sitúa sobre motores como vLLM y SGLang. Gestiona el enrutado en clúster, una caché KV compartida, autoescalado, recuperación de cuelgues y ajuste automático en línea. A través de la capa EngineX puede programar recursos de Huawei Ascend, Iluvatar, Moore Threads y Hygon DCU en un mismo conjunto. Las empresas afirman un aumento de hasta alrededor de 285 % en el rendimiento máximo frente a una línea base interna, cifra que no está verificada de forma independiente.

Qué significa

Quien opere modelos como DeepSeek-V4 o Qwen en varios tipos de aceleradores puede gestionarlos desde un único panel sin reescribir código para cada chip.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

Pandaily (CN)Leer la noticia completa en Pandaily (CN)