Sábado 7 de noviembre de 2026 ·

Tasa de acierto de la caché de prompts de Claude en Bedrock cae del 97,6% en pruebas al 26,6% en producción

Relevancia 68 de 100

Útil para Programadores 70%CFO y finanzas 65%CTO y tecnología 55%

Un desarrollador que usa Claude en Amazon Bedrock para un bot familiar de tareas vio que la caché de prompts acertaba el 97,6% de las veces en la evaluación, pero solo el 26,6% en producción. La causa es que la caché dura 5 minutos por defecto y en producción las llamadas llegan dispersas, mientras que la evaluación las envía seguidas. El punto de equilibrio calculado está en torno al 21,7%, así que el margen es pequeño y se decidió mantener la caché con seguimiento semanal. Un filtro previo con Haiku redujo las llamadas a Sonnet a la mitad, pero encareció el coste un 6% y añadió cerca de 1 segundo de latencia, por lo que se sustituyó por una regla sin modelo que excluyó el 7% de las peticiones sin pérdidas.

Qué significa

Los cálculos de coste basados en pruebas pueden quedarse cortos en producción, porque la caché de prompts solo abarata las llamadas que llegan dentro de su vida útil. Las estimaciones de apps con LLM deben hacerse con el patrón real de uso.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 7 de noviembre de 2026 ->