Jueves 5 de noviembre de 2026 ·
Qué parte de un modelo aprende realmente en un ajuste fino con LoRA
Útil para
El texto explica con cifras qué se entrena al hacer un ajuste fino con LoRA en Qwen2.5-1.5B-Instruct, con rango 16, en un Mac con Apple silicon y 16 GB. Cada capa añade dos matrices pequeñas que se entrenan, mientras la del modelo permanece fija. Con las siete capas lineales de cada bloque, el adaptador suma unos 18,5 millones de parámetros, el 1,2 % del total. Las capas MLP concentran tres cuartas partes del adaptador, y el modelo base ocupa unos 6,2 GB en float32, el formato que el autor considera seguro en MPS.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 5 de noviembre de 2026 ->