Miércoles 28 de octubre de 2026 ·
Cómo dejar de fijar modelos de IA en el código: enrutamiento por esfuerzo, fallbacks y límites de gasto
Útil para
El autor explica cómo su equipo dejó de escribir modelos concretos como «gpt-4o» en sus microservicios y pasó a indicar un nivel de esfuerzo (LOW, MEDIUM o HIGH), mientras un gateway LLM open-source en Go, Keystone The Model Switchboard (KTMS), decide qué modelo responde. El sistema incluye reglas de enrutamiento, selección automática de complejidad, respuestas ante caídas de proveedores y control de gasto. Los cambios de modelo antes exigían decenas de pull requests y el coste no se atribuía a nadie.
Qué significa
Los equipos que usan varios modelos de IA pueden cambiar de proveedor o abaratar tareas desde un único punto, sin tocar cada servicio, y saber qué parte del gasto corresponde a cada uno.
Cómo te afecta
- CTO y tecnología
Plantea un gateway de modelos como capa de control para cambiar de proveedor, definir reservas y limitar el gasto sin tocar cada servicio. Pide que el coste quede atribuido a cada equipo, y audita el código open source antes de adoptarlo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr IA (RU)Leer la noticia completa en Habr IA (RU)
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->