Domingo 18 de octubre de 2026 ·
Cómo acelerar las consultas repetidas a un LLM con caché semántica en Redis
Útil para
El autor implementa una caché semántica con Redis que guarda la pregunta como vector y su respuesta, y devuelve la respuesta guardada cuando una nueva pregunta es semánticamente parecida, si no se llama al LLM. Usa el modelo de embeddings all-MiniLM-L6-v2 (384 dimensiones) y búsqueda vectorial HNSW con distancia COSINE. Concluye que captura reformulaciones que la coincidencia exacta no detecta, pero que un umbral de similitud demasiado bajo puede devolver respuestas incorrectas, por lo que conviene incluir la versión del modelo, la del prompt y el tenant en la clave de caché.
Qué significa
Si una aplicación recibe muchas preguntas parecidas, esta técnica reduce tiempo de respuesta y coste de API. Hay que ajustar bien el umbral y separar la caché por versión de modelo y prompt para no servir respuestas erróneas.
Cómo te afecta
- Programadores
Montando una caché semántica con Redis, usa all-MiniLM-L6-v2 (384 dimensiones), índice HNSW y distancia COSINE; mete en la clave la versión del modelo, la del prompt y el tenant. Un umbral bajo devuelve respuestas erróneas, así que ajústalo con tus propias reformulaciones.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->