¿Cómo es?
Los LLMs se entrenan en grandes conjuntos de datos de texto, donde aprenden a predecir la siguiente palabra en una secuencia a través de un objetivo de modelado de lenguaje autocontrolado o enmascarado.
A partir de este aprendizaje no supervisado, el modelo aprende la estructura del lenguaje y patrones subyacentes en el texto, permitiendo al modelo generalizar a datos no vistos.
Después de este pre-entrenamiento inicial, los LLMs pueden ser afinados en un objetivo de aprendizaje supervisado para realizar tareas específicas. Por ejemplo, algunos modelos están entrenados para estructuras conversacionales o uso de herramientas, mientras que otros se centran en clasificación o generación de código.