Martes 3 de noviembre de 2026 ·
Un algoritmo estadístico sencillo, el tokenizador BPE, sostiene la entrada de los grandes modelos de lenguaje
Útil para
El autor lee el libro 'Ceros desde cero Deep Learning 6 LLM' y resume el primer capítulo, dedicado al tokenizador y no a la arquitectura. Explica que el texto se convierte en bytes UTF-8 y que, con BPE, se fusionan repetidamente los pares de símbolos más frecuentes. Como ejemplo, la palabra 'banana' pasa de 6 a 4 tokens con una sola fusión. Subraya que BPE no entiende el significado, solo detecta patrones repetidos.
Qué significa
Los modelos no leen palabras completas, sino fragmentos aprendidos de forma estadística. Por eso un mismo texto puede ocupar más tokens según el idioma, como ocurre con un carácter japonés que equivale a tres tokens en su forma inicial.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del martes 3 de noviembre de 2026 ->