Viernes 6 de noviembre de 2026 ·
BlockLock: inferencia reproducible de LLM con geometría de lotes fija
Investigadores presentan BlockLock, un método para que un modelo de lenguaje dé la misma respuesta a una petición sin importar qué otras peticiones comparten el lote. Mantiene el prefill compartido y fija solo la ruta numérica de la petición protegida, con dos modos: BlockLock-Rows y BlockLock-Pack. En las pruebas con cinco modelos y tres GPU, la variante Rows reduce la latencia entre un 53,5 % y un 55 %.
Qué significa
Las empresas que sirven modelos de lenguaje a varios usuarios a la vez podrán obtener respuestas repetibles con menos latencia que con los métodos existentes.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI
También ese día
Todas las noticias de IA del viernes 6 de noviembre de 2026 ->