Jueves 5 de noviembre de 2026 ·
Un modelo MoE de 35.000 millones de parámetros funciona en un portátil con 8 GB de VRAM usando Docker y llama.cpp
Útil para
Un autor describe cómo ejecutar el modelo 35B-A3B en un portátil con RTX 4060 de 8 GB de VRAM y 64 GB de RAM. Con el parámetro -ot 'exps=CPU' de llama.cpp, las capas de expertos se mueven a la RAM mientras la atención y las capas compartidas se quedan en la GPU. Según sus mediciones, alcanza unos 20 tokens por segundo, y comparte un compose.yaml para Docker. Los modelos usan formato GGUF con cuantización Q4.
Qué significa
Los modelos grandes de tipo mezcla de expertos se acercan a equipos de gama media con mucha RAM, sin necesitar una tarjeta gráfica de gama alta. Quien tenga una GPU de 8 GB puede probar modelos que antes solo corrían en servidores.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita
También ese día
Todas las noticias de IA del jueves 5 de noviembre de 2026 ->