Domingo 18 de octubre de 2026 ·
Un usuario ejecuta Qwen 3.8 27B en local con una GPU de 16 GB; los autores de agentes piden medir antes de escalar
Útil para
Un usuario de r/LocalLLaMA ha puesto en marcha Qwen 3.8 27B con 262.000 tokens de contexto en un equipo con una única GPU de 16 GB (9060 XT) y 16 GB de RAM asignados, a 42,7 tokens por segundo con 20.000 tokens de contexto y 35 con 200.000. Por otro lado, artículos de Medium sostienen que la mayoría de los agentes no necesitan arquitecturas complejas: la configuración multiagente de Anthropic superó a un agente único en un 90 %, pero consumió 15 veces más tokens que un chat. Recomiendan pruebas de ablación para justificar cada componente antes de añadirlo.
Qué significa
Un modelo de 27.000 millones de parámetros funciona con una sola tarjeta de consumo, lo que baja la barrera para usar IA en local sin depender de la nube. En agentes, la multiagente multiplica el consumo de tokens, así que su coste solo compensa en tareas que lo justifiquen frente a un agente único.
Cómo te afecta
- Programadores
La receta es una cuantización IQ4_XS de unsloth, caché KV con claves en q8 y valores en q4, y predicción MTP con ngram, pero sobre una bifurcación de llama.cpp, no la rama principal. Con 200.000 tokens el prefill cae a entre 35 y 500 tokens por segundo, así que mide tu caso.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
- Generative AI - MediumLeer la noticia completa en Generative AI - Medium
- Generative AI - MediumLeer la noticia completa en Generative AI - Medium
- Artificial Intelligence in Plain English - MediumLeer la noticia completa en Artificial Intelligence in Plain English - Medium
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->