ggml-org/llama.cpp: b11644: kv-cache: respeta PARTIAL_ONLY en la caché KV simple (#30514)
La caché KV simple, que no usa ventana deslizante (SWA), retrocede con seq_rm y no guarda estado parcial, pero aun así serializaba todas sus celdas al guardar el estado. Esto hacía que un contexto borrador con caché KV simple, como una cabeza MTP o un borrador denso con -md, copiara toda su KV en cada checkpoint del servidor, creciendo con cada token. Ahora no escribe ni lee nada para PARTIAL_ONLY salvo que use SWA. Un segundo cambio hace que los envoltorios híbridos y dsa-iswa deleguen el flag en las cachés de cada uno, y se añade un test que comprueba que el estado parcial no crece con los tokens.
Qué significa
Quien use llama-server con un modelo borrador de caché KV simple dejará de ver crecer los checkpoints del servidor con cada token.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp