Intel lanza software para acelerar la inferencia de LLM en sus CPU Xeon
Intel ha presentado Intel Inference Microservices, un software en contenedores que optimiza la inferencia de modelos de lenguaje grandes en sus procesadores Xeon. Al arrancar, detecta el procesador y aplica ajustes de inferencia prevalidados, lo que reduce la necesidad de especialistas en optimización. Utiliza vLLM como motor de inferencia por defecto y es compatible con la especificación de la API de OpenAI, usada por frameworks como LangChain o LlamaIndex. Intel indica que antes optimizar un LLM para un hardware concreto podía llevar una semana, y planea extender el soporte a toda su gama de GPU, incluidas las D-series para inferencia.
Cómo te afecta
- Programadores
Si necesitas servir un LLM open source en tus propios servidores Xeon, puedes desplegarlo en contenedores sin ajustar a mano la precisión, el reparto de núcleos o la memoria NUMA. Como expone la API de OpenAI, los clientes que ya usas con ese formato deberían poder conectarse a él.
- CTO y tecnología
Si tu inferencia corre en CPU Xeon, este software reduce la dependencia de especialistas en optimización al desplegar modelos abiertos. Te permite evaluar la inferencia en tu infraestructura Xeon existente antes de plantearte aceleradores adicionales.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- The Elec (KR)Leer la noticia completa en The Elec (KR)