Ocho mini PC recomendados para un LLM local con Ryzen
El autor explica cómo montar un servidor de LLM local de 7B y 14B parámetros en un mini PC Ryzen con 64 GB de RAM, sin enviar datos a APIs en la nube ni usar GPU externa. Recomienda ajustar en la BIOS la memoria integrada (UMA) hasta 16 GB para la gráfica integrada Radeon 780M. Menciona el Minisforum UM790 Pro con Ryzen 9 7940HS y el Beelink SER8 con Ryzen 7 8845HS, que según el texto mantiene unos 32 dB con 54 W de TDP.
Qué significa
Un desarrollador que no pueda usar APIs en la nube por confidencialidad puede ejecutar modelos cuantizados de 14B en un mini PC de sobremesa, con 64 GB de RAM y la memoria gráfica configurada en la BIOS.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ