Domingo 1 de noviembre de 2026 ·

tandem.cpp acelera hasta 3,3 veces los modelos MoE que no caben en la VRAM de la tarjeta gráfica

Relevancia 62 de 100

Útil para Programadores 85%

tandem.cpp es un conjunto de parches para llama.cpp que mantiene en la GPU los expertos más usados y deja a la CPU el resto. En un PC con RTX 4090 y 64 GB de RAM, Qwen3.8-Flash-Next pasa de 29,8 a 97,3 tokens por segundo en GSM8K con decodificación greedy. Otros modelos MoE que no caben en la VRAM ganan entre 1,4 y 2,1 veces, según el autor, que es un proyecto independiente sin relación con ggml-org.

Qué significa

Quien ejecuta modelos grandes en un PC de consumo puede obtener respuestas bastante más rápidas sin cambiar de hardware. La mejora aparece en modelos MoE que superan la memoria de la tarjeta gráfica.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del domingo 1 de noviembre de 2026 ->