Un script para revisar costes de LLM: caché, salida de herramientas y coste fijo de MCP
El autor creó un script en Python de biblioteca estándar que analiza cuatro fuentes de coste en aplicaciones con LLM: reintentos, fallos de caché, arrastre de salidas de herramientas y definiciones fijas de MCP. Lo probó con entradas simuladas y no llama a ninguna API real. Con reintentos encadenados entre SDK y código propio, un fallo puede llegar a 12 peticiones, cifra tomada de un artículo previo sin volver a medirla. En 8 casos simulados, la posición de fallo de caché coincidió con las reglas de la documentación de Anthropic y 15 pruebas pasaron, aunque esto no mide el comportamiento real de la API. En un log sintético de 30 turnos, las salidas de herramientas sumaron 87.306 tokens que se reenviaron como entrada. La parte de pago cuesta 100 yenes.
Qué significa
Quien gestione el coste de una aplicación con LLM puede usar el script para ver en qué punto se invalida la caché y cuánto se pierde, aunque los resultados son estimaciones con datos simulados.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ