Sábado 31 de octubre de 2026 ·

Exprimiendo BERT: tokenización 50 veces más rápida en la biblioteca tokenizers

Relevancia 39 de 100

Útil para Programadores 65%

El equipo de la biblioteca tokenizers, de Hugging Face, ha acelerado el tokenizador BERT unas 5,7 veces más, hasta lograr una mejora total de unas 50 veces frente a la versión 0.23. Los tokenizadores BPE clásicos, usados en muchos LLM, son hasta 30 veces más rápidos que en la versión 0.23. Los cambios siguen en fase de pull request y se preparan para la versión estable 1.0.0. Los modelos de tipo BERT se usan para embeddings, búsqueda, RAG y clasificadores, y tres de los modelos más descargados de Hugging Face usan su normalizador.

Qué significa

Quien usa modelos de embeddings o búsqueda basados en BERT tokenizará el texto mucho más rápido. Como los modelos más descargados dependen de ese normalizador, la mejora llegará a muchos proyectos.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 31 de octubre de 2026 ->