Viernes 23 de octubre de 2026 ·

GLM-5.3 en 16 H200: PCP, DCP e Hybrid HiSparse para contextos largos de agentes

Relevancia 41 de 100 China, Beijing

Útil para Programadores 80%CTO y tecnología 55%

Los autores muestran cómo servir GLM-5.3 en 16 GPU H200, divididas en un nodo de prefill y otro de decode, para aliviar la memoria de la caché KV y la velocidad de prefill en contextos largos de agentes. Prefill Context Parallelism (PCP) reparte cada prompt por tokens, Decode Context Parallelism (DCP) fragmenta la caché KV por tokens y Hybrid HiSparse guarda la KV en memoria del host. En AgentX, PCP8 × DCP8 con decode Hybrid HiSparse da entre 1,7 y 3,2 veces más velocidad por usuario que un despliegue data-parallel con el mismo throughput, y es la única configuración probada que sirve contextos de 1M de tokens.

Qué significa

Quien despliegue GLM-5.3 para agentes con contextos muy largos puede usar esta división de nodos para ganar velocidad por usuario sin perder throughput, y es la única opción probada que admite 1M de tokens en H200.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del viernes 23 de octubre de 2026 ->