Martes 20 de octubre de 2026 ·
Geezuz, núcleo CUDA que ejecuta Qwen3.8-27B a 190 tok/s en dos RTX 3090
Útil para
Un desarrollador presenta una bifurcación del megakernel de L-Forster que reparte el paso de inferencia entre dos RTX 3090 conectadas por PCIe sin NVLink, limitadas a 280 W. Con una petición alcanza 190 tok/s en Q4_K_M y unos 622 tok/s con 8 peticiones simultáneas, frente a unos 100 tok/s de la mejor configuración de llama.cpp de dos GPU con los mismos prompts. Usa su propia cabeza MTP para redactar 5 tokens por pasada con calidad de salida equivalente. El objetivo es superar a vLLM con 8 peticiones paralelas, donde todavía va unos 15 % por detrás.
Qué significa
Quien ejecuta modelos en local con tarjetas de consumo podría servir varias peticiones a la vez con mucho más rendimiento. Reduce el coste de tener un servidor propio de LLM frente a configuraciones más lentas.
Cómo te afecta
- Programadores
Con dos RTX 3090 a 280 W, la bifurcación de Geezuz del megakernel de L-Forster declara 190 tok/s con Qwen3.8-27B en Q4_K_M, frente a unos 100 de llama.cpp. Son cifras del propio autor y vLLM sigue unos 15 % por delante con 8 peticiones; reprodúcelas con tus prompts antes de cambiar nada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->