Mind Lab explica cómo escalar Macaron-V1, un agente con historiales largos, mediante reparto 2D de la caché KV
Mind Lab detalla cómo servir Macaron-V1, un modelo de agente que mantiene historiales de conversación largos, cuyo cuello de botella fue la caché KV en la fase de decodificación. Su solución, un reparto 2D por páginas durante la transferencia RDMA, con DCP=4 pasó de 20-40 a más de 100 peticiones simultáneas en el mismo hardware. El rendimiento de decodificación se duplicó aproximadamente.
Qué significa
Para quienes sirven modelos con contexto largo, la memoria de la caché KV limita más que el cómputo, y una mejor distribución permite atender muchas más sesiones con el mismo hardware. Así se reduce el coste por usuario sin recortar el historial completo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ