¿Cuáles son?
- Codificadores (Encoders)
Un Transformer basado en codificador toma texto (u otros datos) como entrada y produce una representación densa (o embedding) de ese texto.- Casos de uso: Clasificación de texto, búsqueda semántica, Reconocimiento de Entidades Nombradas
- Tamaño típico: Millones de parámetros
- Decodificadores (Decoders)
Un Transformer basado en decodificador se enfoca en generar nuevos tokens para completar una secuencia, un token a la vez.- Casos de uso: Generación de texto, chatbots, generación de código
- Tamaño típico: Miles de millones de parámetros
- Seq2Seq (Codificador–Decodificador)
Un Transformer de secuencia a secuencia combina un codificador y un decodificador. El codificador primero procesa la secuencia de entrada en una representación contextual, luego el decodificador genera una secuencia de salida.- Casos de uso: Traducción, Resumen, Parafraseo
- Tamaño típico: Millones de parámetros