Sábado 24 de octubre de 2026 ·
ANEMLL Forge 0.2.1 permite ejecutar Qwen3.8-27B en el Neural Engine del M6 con contexto de hasta 192K
Útil para
La versión 0.2.1 de ANEMLL Forge permite correr Qwen3.8-27B en el Neural Engine de un Mac con M6 de 32 GB con hasta 192K de contexto. Una caché K/V en INT8 y un modelo auxiliar más pequeño reducen 0,86 GB la memoria usada en el ANE. La velocidad de generación va de 35-62 tokens por segundo en JSON a 10-17 en prosa, y el autor recomienda 96K de contexto, con unos 27 tokens por segundo y 21,4 GB de memoria total.
Qué significa
Quien tenga un Mac con M6 y 32 GB podrá ejecutar en local un modelo de 27B con contextos largos, sin depender de servicios en la nube.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del sábado 24 de octubre de 2026 ->