llama.cpp (b11902) acelera la carga de modelos divididos entre GPUs Intel con SYCL
Útil para
La nueva versión b11902 de llama.cpp añade set_tensor_2d para el backend SYCL, que agrupa filas en bloques de hasta 64 MiB y las sube en lotes en vez de una a una. En dos GPUs Arc Pro B70 con gpt-oss-120b, el tiempo total de llama-perplexity bajó de 263-268 s a 114-115 s, y una verificación de lectura confirmó 26.784.256 filas sin errores.
Qué significa
Quien ejecute modelos grandes repartidos entre varias GPUs Intel Arc notará cargas y pruebas bastante más rápidas, sin cambiar los resultados.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp