Lunes 2 de noviembre de 2026 ·

Investigadores presentan un método de atención dispersa para contextos ultralargos de hasta 10 millones de tokens en modelos abiertos

Relevancia 59 de 100

Útil para Programadores 85%

Un equipo de investigación publica en código abierto un método de atención dispersa que, según sus pruebas, aplicado a Qwen 3.8 27B no muestra pérdida de precisión observable. Al extender el contexto hasta 10 millones de tokens, baja la precisión en algunas tareas específicas, aunque el test NIAH se mantiene. El método puede entrenarse de forma nativa y alcanza la misma pérdida de validación que la atención completa, pero más rápido.

Qué significa

Según los autores, el método podría abaratar el uso de contextos largos en equipos propios, al poder aplicarse a modelos pequeños de pesos abiertos. Quien trabaje con modelos locales tendría así una alternativa más económica para textos muy extensos.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del lunes 2 de noviembre de 2026 ->