Notas
1-Introduction to Building AI Applications with Foundation Models
- Adaptar un modelo poderoso existente a tu tarea suele ser mucho más fácil que construir un modelo para tu tarea desde cero
- Ajuste fino
- Auto-supervisión
- Con modelos base, donde muchos equipos usan el mismo modelo, la diferenciación debe lograrse a través del proceso de desarrollo de la aplicación.
- El método de tokenización y el tamaño del vocabulario son decididos por los desarrolladores del modelo.
- El modelado del lenguaje es auto-supervisado porque cada secuencia de entrada proporciona tanto las etiquetas (tokens a predecir) como los contextos que el modelo puede usar para predecir estas etiquetas
- En la ingeniería de IA, la manipulación de datos se centra más en la deduplicación, la tokenización, la recuperación de contexto y el control de calidad, incluyendo la eliminación de información sensible y datos tóxicos.
- Evaluación de modelos
- Evaluación de un caso de uso posible que usa modelos IA Generativos
- Ingeniería de conjuntos de datos
- Ingeniería de IA
- Interfaz de IA
- La interacción de un humano con una aplicación con IA Generativa
- Las capas de operación de una aplicación con IA
- Las salidas de los modelos de lenguaje son de carácter abierto
- Los modelos de lenguaje usan tokens en lugar de palabras o caracteres
- Los roles de lA en una aplicación
- Métricas de impacto en una aplicación con IA Generativa
- Modelos de lenguaje autoregresivos
- Modelos de lenguaje enmascarados
- Optimización de la inferencia
- Post-Entrenamiento
- Pre-entrenamiento de un modelo de IA LLM
- Prompt engineering
- Sampling
- There are generally three types of competitive advantage in the IA Context. Technology, Data, and Distribution
- Tipos de modelos de lenguaje
- Tokenización
- Un modelo de lenguaje codifica información estadística sobre uno o más idiomas. De manera intuitiva, esta información nos indica cuán probable es que una palabra aparezca en un contexto determinado.
- Vocabulario de un modelo de lenguaje