Cerebro Digital

Home

❯

Notas

❯

Tokenización

Fuente: AI EngineeringPáginas: 3

11 ago 2025Se lee en 1 min

AI
modelos-de-lenguaje

¿Qué es?

El proceso de dividir el texto original en tokens se llama tokenización.

Esta página web utiliza Google Analytics para analizar el tráfico del sitio y mejorar tu experiencia. Al hacer clic en "Aceptar", consientes el uso de estas cookies.

Vista Gráfica

Retroenlaces

Notas:

AI Engineering
El método de tokenización y el tamaño del vocabulario son decididos por los desarrolladores del modelo.

GitHub
Discord Community