Mini glosario de LLM local para quien no entiende los artículos: tok/s, prefill, num_ctx y arnés explicados con ejemplos
Artículo de glosario para lectores que se pierden con términos de los LLM locales. El autor probó un agente de programación sin GPU, en un Ryzen 5 4500U con 32 GB de RAM, que lee, edita y prueba archivos. Explica que el prefill, es decir, la lectura del contexto, puede tardar más que la generación (84 s frente a 30 s en un ejemplo), que la velocidad varía entre 3,1 y 8,0 tok/s según el modelo, y que num_ctx (4096 por defecto en Ollama) se llena rápido en agentes, por lo que el autor recomienda 8192.
Qué significa
Si usas un LLM local para programar en un PC sin GPU, la lectura del contexto suele ser el cuello de botella. Si el modelo parece olvidar archivos ya leídos, conviene subir num_ctx.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita