El Auto Router de Cloudflare asigna modelos de IA según la dificultad y el riesgo de cada petición
Útil para
Cloudflare lanzó en beta pública Auto Router, disponible en AI Gateway: con el modelo cloudflare/auto, un clasificador elige un modelo para cada petición. El clasificador evalúa la petición en 14 categorías de tarea y la puntúa del 1 al 5 en complejidad, ambigüedad, riesgo y dependencia del contexto previo. Según la cifra citada por Cloudflare en un benchmark de 97 tareas, la solución ofrece diez puntos de fiabilidad por aproximadamente un tercio del gasto.
Qué significa
Quien use AI Gateway de Cloudflare no tendría que elegir modelo a mano: el sistema reparte cada petición entre modelos según su dificultad y riesgo, buscando reducir el gasto sin perder fiabilidad.
Cómo te afecta
- CTO y tecnología
Antes de estandarizar AI Gateway, pilota el Auto Router con tus propias tareas, porque el benchmark es de Cloudflare y la función está en beta pública. Decide además si aceptas que un clasificador de terceros elija el modelo que procesa tus datos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- InfoQ AI/MLLeer la noticia completa en InfoQ AI/ML