Lunes 2 de noviembre de 2026 ·

Un usuario de Reddit ejecuta 8 agentes de IA con 250.000 tokens de contexto cada uno en dos GPU RTX 3090

Relevancia 48 de 100

Útil para Programadores 75%

Un usuario de Reddit describe un sistema que ejecuta ocho agentes de programación en paralelo, cada uno con 250.000 tokens de contexto, en dos RTX 3090. La caché KV completa se guarda en la RAM del sistema con int4, y en cada paso se leen solo alrededor del 1% de los tokens, seleccionados con un sketch de clave de rango 64. Según el autor, el sistema alcanza unos 600 tokens por segundo en total.

Qué significa

Ofrece una vía para trabajar con contextos muy largos en hardware de consumo, moviendo gran parte de la memoria del contexto de la GPU a la RAM del equipo.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del lunes 2 de noviembre de 2026 ->