Jueves 5 de noviembre de 2026 ·

NVIDIA detalla cinco técnicas de codiseño para aprovechar al máximo la memoria HBM en la inferencia de IA

Relevancia 65 de 100 Estados Unidos, California

Útil para Programadores 55%

NVIDIA sostiene que el límite de la inferencia agéntica ya no es la capacidad de memoria de la GPU, sino el trabajo útil que se obtiene de cada byte de HBM. Propone cinco técnicas que combinan hardware y software: formatos de 4 bits como NVFP4, reparto de expertos en MoE (Wide-EP), reutilización de caché KV a escala de flota con NVIDIA Dynamo, descarga de contexto inactivo a NVIDIA CMX y embeddings compactos para RAG. Según la compañía, Vera Rubin NVL72 ofrece hasta 30 veces más rendimiento agéntico por megavatio que GB300 NVL72 en el benchmark SemiAnalysis AgentX, con una capacidad de HBM por GPU que apenas sube un 3 %.

Qué significa

Desplaza el criterio de la inferencia de la capacidad de memoria al rendimiento por megavatio y por dólar, y muestra que el resultado depende del conjunto de hardware, red y software, no solo del chip.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

Relacionadas

También ese día

Todas las noticias de IA del jueves 5 de noviembre de 2026 ->