Jueves 29 de octubre de 2026 ·
DeepSeek acelera 26 veces su inferencia con caché en SSD; Cloudflare reporta filtración de 155 respuestas ajenas
Útil para
DeepSeek ha publicado en código abierto DeepInfer, un framework de inferencia, y 3FS, un sistema de archivos distribuido de unos 100 PiB. Con compresión MLA del 93,3 % y FP4, sirve el 56 % de los tokens de entrada desde SSD, lo que reduce el tiempo al primer token de 13 s a 500 ms con 128K tokens de entrada. El 26 de octubre de 2026 Cloudflare informó de que un fallo en el motor SGLang mezcló datos de otros clientes en 155 respuestas.
Qué significa
Para los equipos que operan modelos, guardar la caché en SSD puede ser más rápido y barato que recalcularla. El caso también muestra que una configuración incorrecta del aislamiento entre clientes puede filtrar prompts y respuestas ajenas.
Cómo te afecta
- CTO y tecnología
Si sirves modelos en tu propia infraestructura, revisa el aislamiento entre clientes en el motor de inferencia, porque Cloudflare reporta 155 respuestas ajenas por un fallo en SGLang. Después evalúa la caché en SSD con tus propias métricas de latencia y coste.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 29 de octubre de 2026 ->