Investigación en IA de la semana: contextos largos, leyes de escalado de datos sintéticos y fallos de herramientas de agentes
El resumen semanal une dos problemas: el coste de escalar modelos y la fiabilidad de los agentes que usan herramientas. HyScale es un sistema de entrenamiento para atención dispersa aprendida en contextos de millones de tokens, que apunta a reducir el trabajo repetido en la fase de selección. En otro bloque, las reescrituras sintéticas se han convertido en un ingrediente habitual del preentrenamiento y necesitan leyes de escalado para decidir cómputo y datos. También se señala que formateadores defectuosos y llamadas frágiles a herramientas muestran que más escala no basta para la fiabilidad.
Qué significa
Para quien entrena modelos de contexto largo, el foco pasa de abaratar la lectura de la atención a abaratar su entrenamiento, según la propuesta de HyScale. En agentes con herramientas, la fiabilidad no se resuelve solo con más tamaño.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai