llama.cpp b11735: corrige una condición de carrera en la fusión moe_reduce de Metal
Útil para
La versión b11735 de llama.cpp corrige un fallo en el núcleo moe_reduce del backend Metal, que escribía el resultado sobre memoria que aún leía. Esto producía resultados incorrectos poco frecuentes y no deterministas, observados en pruebas con el backend meta. Ahora la fusión se rechaza cuando el destino solapa las entradas, y la ruta sin fusionar MUL + ADD se indica como siempre correcta.
Qué significa
Quien ejecute modelos con expertos (MoE) en llama.cpp sobre GPUs de Apple dejará de recibir resultados erróneos ocasionales, porque esa operación se hará por la ruta sin fusionar.
Cómo te afecta
- Programadores
Si ejecutas modelos MoE con llama.cpp en GPUs de Apple, actualiza a la b11735: corrige una condición de carrera en moe_reduce de Metal que daba resultados erróneos y no deterministas. Si notabas respuestas distintas entre ejecuciones con el mismo prompt, esta es una causa probable a descartar.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp