UltraBERT procesa 32.000 tokens en un solo vector: ¿adiós al troceado?
Útil para
DMIS Lab presentó UltraBERT-Embed-150M, un modelo de embeddings de 151 millones de parámetros que convierte documentos de hasta 32.000 tokens en un único vector de 768 dimensiones. Un análisis en Qdrant compara ese vector por documento con fragmentos de 512 tokens y con una combinación de ambos, usando cinco tareas de LongEmbed y 800 preguntas sobre 200.000 artículos de Wikipedia en inglés del conjunto MLDR. La prueba busca responder si el troceado de documentos sigue siendo necesario.
Qué significa
Quien monta buscadores sobre documentos largos podría necesitar menos fragmentos, porque el modelo procesa textos de decenas de miles de tokens de una vez en lugar de cortarlos.
Cómo te afecta
- Programadores
Si tu RAG trocea documentos largos en fragmentos de 512 tokens, UltraBERT-Embed-150M (151 millones de parámetros, hasta 32.000 tokens, vector de 768 dimensiones) te permite comparar un vector por documento con tu troceado actual.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Qdrant Blog on Qdrant - Vector Search EngineLeer la noticia completa en Qdrant Blog on Qdrant - Vector Search Engine