Viernes 16 de octubre de 2026 ·
OutRival: hacer más con menos tokens, no quemar más cómputo
Útil para
Alvin Pane, responsable de inteligencia de agentes en OutRival, explicó en AI Engineer que su equipo procesa miles de millones de tokens al día en agentes de teléfono, texto y correo. Mostró un clasificador de intenciones de casi 5.000 tokens, con 20 casos límite y transcripciones fijas, que se usa en millones de peticiones diarias; ese exceso encarece y ralentiza el sistema. Propone medir primero (OpenTelemetry, versión del prompt, tokens, latencia y coste) y, al probar un modelo más barato, encontró un 18% de desacuerdo con la referencia de producción, mientras que el propio modelo de producción solo coincidía consigo mismo un 93% en un test de techo.
Qué significa
Antes de reescribir un prompt largo, mide su coste y latencia. Al comparar un modelo barato con el actual, ten en cuenta que ni el modelo principal da siempre la misma respuesta, así que el listón de exigencia debe ser realista.
Cómo te afecta
- Programadores
Si tus agentes mandan a diario prompts de miles de tokens, instrumenta primero con OpenTelemetry y registra versión del prompt, tokens, latencia y coste antes de tocarlos. Ese registro te dirá si el exceso está en el clasificador o en otra parte.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai
También ese día
Todas las noticias de IA del viernes 16 de octubre de 2026 ->