llama.cpp: soporte SYCL para pesos Q8_0 reordenados en modelos MoE
Un commit de llama.cpp añade al backend SYCL el soporte para pesos Q8_0 reordenados en modelos de mezcla de expertos (MoE). El cambio conserva el orden de acumulación MoE existente. La entrada no incluye cifras de rendimiento.
Qué significa
Quien ejecute modelos MoE cuantizados en Q8_0 con el backend SYCL de llama.cpp podrá usar esta función en su versión actualizada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp