HydraHead: atención completa solo para las cabezas clave en modelos Transformer híbridos
Investigadores presentan HydraHead, un método que asigna a cada cabeza de atención un tipo distinto dentro de una misma capa. Las cabezas importantes para recuperar información en contextos largos mantienen Full Attention, y el resto pasa a Gated DeltaNet, una variante de Linear Attention. La migración se hace en tres etapas sobre Qwen3-1.7B: transferencia de parámetros, destilación global y ajuste fino con contexto largo.
Qué significa
Reduce el coste de procesar textos largos sin perder bien la búsqueda de datos concretos, porque solo las cabezas que la necesitan usan el cálculo más caro. Beneficia a quien trabaja con modelos de lenguaje sobre documentos extensos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ