Miércoles 21 de octubre de 2026 ·

Fast LoRA en llama.cpp: nuevos kernels reducen la pérdida de velocidad al usar adaptadores LoRA

Relevancia 51 de 100

Útil para Programadores 85%

El desarrollador woct0rdho propone cambios en llama.cpp con kernels LoRA rápidos. Al aplicar un LoRA de 35 MB en una Strix Halo, la velocidad de procesamiento de prompts caía de unos 1500 a 300 tokens por segundo; con un kernel general sube a 1000 y con uno fusionado a 1400. Los cambios están optimizados para Strix Halo, pero pueden adaptarse a otras GPU, y el autor planea integrarlos en la versión principal.

Qué significa

Quien ejecute modelos de lenguaje en local podrá aplicar adaptadores LoRA pequeños, como uno que elimina la censura de un modelo Qwen, sin descargar el modelo completo y con mucha menos pérdida de velocidad.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->