Domingo 18 de octubre de 2026 ·
Guía práctica para resumir el historial de un chat con LLM y reducir tokens
Útil para
El artículo propone que una aplicación de chat no envíe siempre todo el historial al LLM, sino un resumen de los turnos antiguos junto con los mensajes recientes en original. Para el resumen indica conservar el objetivo del usuario, sus preferencias y restricciones, lo ya decidido, las preguntas abiertas, los datos numéricos, fechas y nombres propios. Muestra en Python cómo contar tokens con tiktoken usando la codificación cl100k_base, y advierte que el cálculo es aproximado y varía según el modelo y el SDK.
Qué significa
Quien tenga un chat que reenvía toda la conversación en cada petición puede reducir los tokens de entrada resumiendo lo antiguo y manteniendo solo los últimos turnos. Por ejemplo, la preferencia de un usuario mencionada al inicio se conserva en el resumen aunque el texto original desaparezca.
Cómo te afecta
- Programadores
En tu app de chat, resume los turnos antiguos y deja los últimos en original en vez de reenviar todo el historial. Para medir el ahorro, tiktoken con cl100k_base solo es orientativo: el recuento real depende del modelo y del SDK.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->