llama.cpp ha avanzado mucho: la experiencia de un usuario con IA local
Un usuario neerlandés relata cómo pasó de escéptico a usar modelos de IA locales desde marzo de 2025, empezando con Mistral Nemo Q4_K_M en una AMD Radeon RX 7800 XT de 16 GB con Ollama y LM Studio. Después lo usó con SillyTavern y koboldcpp para roleplay, y más tarde con Mistral Small 3.2 y Magistral Small 2507 mediante llama.cpp, que le dio unos 15 tokens por segundo de generación. En septiembre consideró mejorar su PC: se recomendaban dos RTX 3060 de 12 GB por precio, mientras que la RTX 5060 Ti de 16 GB se veía cara.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA