Cómo un revisor de código con IA redujo su coste de inferencia un 68%
Útil para
El equipo, que usa agentes de IA para revisar código, vio cómo el coste medio por revisión subía de 1,19 dólares en abril a 2,46 dólares a finales de agosto. Tras un trabajo de optimización iniciado a mediados de septiembre, el coste medio bajó a 0,77 dólares, un 68% menos que los 2,43 dólares de sus dos semanas más caras, con revisiones de calidad en esfuerzo alto. La mediana de duración también se redujo de 4 minutos y 9 segundos a 1 minuto y 32 segundos. Alrededor del 40% del ahorro vino de cambios en el código del revisor y el resto de probar qué modelos usar y con cuánto esfuerzo.
Qué significa
Muestra que el coste de este tipo de herramientas puede crecer con el tiempo sin cambios de arquitectura, y que ajustar el código y los modelos puede recortarlo acelerando a la vez las revisiones.
Cómo te afecta
- Programadores
Si tu CI pasa cada pull request por un revisor de IA, mide su coste por revisión antes de tocar nada. El ahorro vino de probar modelos y nivel de esfuerzo, y de retocar el código del revisor, algo que puedes replicar.
- CTO y tecnología
Pide el coste medio por revisión y su evolución mensual, porque en este caso subió de 1,19 a 2,46 dólares sin cambiar la arquitectura. Prueba modelos y niveles de esfuerzo por tipo de revisión antes de fijar presupuesto, ya que ahí estuvo la mayor parte del ahorro.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Cloudflare Blog AILeer la noticia completa en Cloudflare Blog AI