Montan cuatro Tesla P100 usadas en un Mac Pro 2019 para correr un LLM de clase 320B parámetros
Un usuario describe cómo armó un equipo local de IA con cinco GPU de segunda mano: cuatro Tesla P100 de 16 GB y una Quadro GP100 de 16 GB, instaladas en un Mac Pro 2019 con 96 GB de RAM. Las P100 cuestan entre 16.000 y 20.000 yenes usadas y el Mac Pro costó unos 190.000 a 200.000 yenes. Con este equipo logró ejecutar un modelo de clase 320B, de la familia GLM-5.3-Flash, con el sistema local llamado Maya. El texto advierte sobre refrigeración, alimentación eléctrica y compatibilidad con CUDA antiguo.
Qué significa
Quien quiera correr modelos grandes en casa sin comprar GPU nuevas tiene una referencia de costo, aunque el autor advierte que las tarjetas antiguas requieren ajustes y cuidado en refrigeración y energía.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ