Cómo corregir la precisión de las llamadas a herramientas en vLLM
Útil para
El artículo señala que los modelos de pesos abiertos fallan con frecuencia al generar llamadas a herramientas con el formato esperado. Con Kimi K2.6 y vLLM 0.28, solo el 92 % de las llamadas seguían el esquema, es decir, 2 de cada 25 fallaban. vLLM 0.31 incorpora una opción de decodificación restringida que garantiza el esquema, y según el texto llega al 100 % con los modelos Kimi y DeepSeek más recientes.
Qué significa
Los agentes que encadenan varios turnos dejan de acumular contexto erróneo por llamadas mal formadas, lo que mejora la fiabilidad de los sistemas que dependen de modelos abiertos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hacker News (historias con mas de 100 puntos)Leer la noticia completa en Hacker News (historias con mas de 100 puntos)