Pasar de Ollama a llama.cpp: pruebas de código local con Qwen2.5-Coder-7B para Raspberry Pi Pico 2 W
Útil para
El autor cambia Ollama por llama.cpp para acelerar la inferencia de modelos locales y lo combina con VS Code y la extensión Continue. Elige un modelo de 7.000 millones de parámetros, Qwen2.5-Coder-7B, porque un modelo de 14.000 millones apenas cabe en su equipo. Al generar código para Raspberry Pi Pico 2 W (parpadeo de LED, sensores y pantalla OLED) la generación fue rápida, pero la precisión fue de unos 60 %.
Qué significa
Quien programe con modelos locales en equipos con poca memoria tendrá que elegir entre respuestas rápidas de un modelo pequeño y código más fiable de uno grande. Según las pruebas, el modelo 7B necesita revisión humana frecuente.
Cómo te afecta
- Programadores
Si programas con modelos locales en poca memoria, llama.cpp con Continue en VS Code acelera la inferencia, pero Qwen2.5-Coder-7B acertó en torno al 60 % con código para Pico 2 W. Cada salida necesita revisión humana.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ