Una app para iPhone que mide el rendimiento de modelos pequeños con llama.cpp y Metal
Útil para
Un desarrollador creó una app iOS que mide la respuesta de modelos de lenguaje pequeños (SLM) en el iPhone, usando modelos en formato GGUF de Hugging Face y la GPU mediante Metal. Se apoya en llama.cpp a través de llama.xcframework y separa la interfaz, la lógica de aplicación y la capa de inferencia para poder cambiar de motor. La app no es un chat: sirve para comparar el rendimiento según modelo, cuantización y dispositivo. Está previsto añadir soporte para Core ML y el Neural Engine.
Qué significa
Para quien quiera saber qué modelo pequeño funciona mejor en un iPhone concreto, la app ofrece mediciones comparables por modelo, cuantización y dispositivo, en lugar de una experiencia de conversación.
Cómo te afecta
- Programadores
Si despliegas modelos pequeños en iPhone, la app mide rendimiento por modelo, cuantización y dispositivo sobre llama.xcframework con Metal, y su capa de inferencia separada te permite cambiar de motor. El soporte para Core ML y el Neural Engine solo está previsto.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ