¿Buscas un material que sumerja a tus estudiante*s en el fascinante mundo de los Modelos de Lenguaje Grandes (LLMs)? Con este recurso, tus estudiante*s no solo aprenderán la teoría, sino que aplicarán los fundamentos técnicos de los LLMs a través de proyectos prácticos y una evaluación integral.

Este material te ofrece una estructura clara y completa para que tus estudiante*s desarrollen habilidades clave:

• Proyecto 1: Componentes Clave en PyTorch. Tus estudiante*s implementarán desde cero componentes arquitectónicos fundamentales de los LLMs, como la autoatención multi-cabeza. Esto les permitirá comprender a fondo cómo funcionan estos modelos, más allá de usar librerías de alto nivel. Trabajarán directamente con PyTorch para construir y entrenar componentes críticos, desarrollando una intuición sólida sobre el flujo de información en arquitecturas complejas.
• Implementación de Autoatención Multi-Cabeza. Aprenderán a implementar el mecanismo de scaled dot-product attention, a desarrollar proyecciones de queries, keys y values, a construir múltiples cabezas de atención en paralelo y a integrar la concatenación y proyección final.
• Consideraciones de Implementación. Descubrirán la importancia de los detalles matemáticos y cómo gestionar correctamente las máscaras de atención, implementando máscaras causales eficientes con operaciones vectorizadas.
• Proyecto 2: Fine-Tuning de Modelos Pre-entrenados. Tus estudiante*s aplicarán técnicas de fine-tuning con modelos como GPT-2 o BERT. Este proyecto incluye la selección del modelo base, la preparación del dataset (tokenización, creación de batches y estrategias de padding), la configuración del training loop (hiperparámetros, learning rate scheduling y regularización) y la monitorización y evaluación de métricas.
• Integración con Hugging Face Transformers. Utilizarán esta librería estándar de la industria para simplificar el proceso de fine-tuning, enfocándose en la experimentación con hiperparámetros y estrategias de optimización.

Con este material, tus estudiante*s adquirirán y mejorarán competencias esenciales:

• Manipular tensores multidimensionales con confianza.
• Comprender el flujo de gradientes en arquitecturas complejas.
• Optimizar operaciones matriciales de manera eficiente.
• Desarrollar habilidades de debugging para arquitecturas complejas.
• Implementar desde cero componentes fundamentales de LLMs.
• Realizar fine-tuning de modelos pre-entrenados usando herramientas estándar de la industria.
• Desarrollar una intuición profunda sobre el funcionamiento interno de los LLMs.

¿Buscas un material que sumerja a tus estudiante*s en el fascinante mundo de los Modelos de Lenguaje Grandes (LLMs)? Con este recurso, tus estudiante*s no solo aprenderán la teoría, sino que aplicarán los fundamentos técnicos de los LLMs a través de proyectos prácticos y una evaluación integral.

Este material te ofrece una estructura clara y completa para que tus estudiante*s desarrollen habilidades clave:

• Proyecto 1: Componentes Clave en PyTorch. Tus estudiante*s implementarán desde cero componentes arquitectónicos fundamentales de los LLMs, como la autoatención multi-cabeza. Esto les permitirá comprender a fondo cómo funcionan estos modelos, más allá de usar librerías de alto nivel. Trabajarán directamente con PyTorch para construir y entrenar componentes críticos, desarrollando una intuición sólida sobre el flujo de información en arquitecturas complejas.
• Implementación de Autoatención Multi-Cabeza. Aprenderán a implementar el mecanismo de scaled dot-product attention, a desarrollar proyecciones de queries, keys y values, a construir múltiples cabezas de atención en paralelo y a integrar la concatenación y proyección final.
• Consideraciones de Implementación. Descubrirán la importancia de los detalles matemáticos y cómo gestionar correctamente las máscaras de atención, implementando máscaras causales eficientes con operaciones vectorizadas.
• Proyecto 2: Fine-Tuning de Modelos Pre-entrenados. Tus estudiante*s aplicarán técnicas de fine-tuning con modelos como GPT-2 o BERT. Este proyecto incluye la selección del modelo base, la preparación del dataset (tokenización, creación de batches y estrategias de padding), la configuración del training loop (hiperparámetros, learning rate scheduling y regularización) y la monitorización y evaluación de métricas.
• Integración con Hugging Face Transformers. Utilizarán esta librería estándar de la industria para simplificar el proceso de fine-tuning, enfocándose en la experimentación con hiperparámetros y estrategias de optimización.

Con este material, tus estudiante*s adquirirán y mejorarán competencias esenciales:

• Manipular tensores multidimensionales con confianza.
• Comprender el flujo de gradientes en arquitecturas complejas.
• Optimizar operaciones matriciales de manera eficiente.
• Desarrollar habilidades de debugging para arquitecturas complejas.
• Implementar desde cero componentes fundamentales de LLMs.
• Realizar fine-tuning de modelos pre-entrenados usando herramientas estándar de la industria.
• Desarrollar una intuición profunda sobre el funcionamiento interno de los LLMs.