Reflection Beam ya funciona en vLLM desde su lanzamiento
Reflection Beam es un modelo MoE de 501.000 millones de parámetros, con 23.000 millones activos por token, compatible desde el primer día con vLLM y optimizado para NVIDIA Blackwell. Un agente de programación optimizó el código de forma autónoma y logró que la decodificación con un solo lote fuera 2,71 veces más rápida y el prefill 1,87 veces más rápido que la primera implementación. Con el drafter DFlash2 y verificación adaptativa, una sola petición alcanza 708 tokens por segundo en TP8, con longitud de aceptación de 3,7. La verificación adaptativa añade un 10% de rendimiento con alta concurrencia.
Qué significa
Quien quiera servir Beam con vLLM puede usar la imagen Docker vllm/vllm-openai:reflection-beam, con razonamiento, llamadas a herramientas y salidas estructuradas incluidas, y con paralelismo de tensores, datos o expertos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.