Modelos de Lenguaje:
del Transformer al Agente
Construye, desde cero y en tu propia máquina, un modelo de lenguaje moderno y el agente de programación que lo convierte en herramienta.
Requisitos previos
Este curso continúa el de Deep Learning para NLP. Antes de empezar, necesitas:
- El curso anterior, o su equivalenteUn Transformer escrito desde cero en NumPy. La atención, backpropagation y la entropía cruzada no se vuelven a explicar.
- Python intermedioFunciones, clases, NumPy. En el último bloque, también ficheros, procesos y JSON.
- Una terminalSaber abrirla, moverte por directorios y ejecutar un script. El último bloque vive en ella.
Temario
5 bloques · 40 lecciones · ~19 h de lectura01Del Transformer al modelo de lenguajeUna sola columna, BPE de verdad, un mini-GPT entrenado en NumPy, cómo se muestrea de él y cuánto cuesta cada token.9 lecciones · 4h 15m
- Una sola columna: el modelo de lenguaje causal20 min
- BPE de verdad: fusionar, no solo partir30 min
- Entrenar un mini-GPT en NumPy30 min
- Muestreo: temperatura, top-k y top-p30 min
- La caché de claves y valores: cuánto cuesta cada token30 min
- Perplejidad: medir un modelo de lenguaje30 min
- Leyes de escala: Kaplan y Chinchilla28 min
- Aprendizaje en contexto: el prompt como programa27 min
- Proyecto: el modelo hecho función30 min
02De predecir texto a seguir instruccionesAjuste supervisado, modelo de recompensa, RLHF y la derivación completa de DPO.8 lecciones · 4h
- Predecir no es obedecer25 min
- La plantilla de chat es un formato entrenado35 min
- Ajuste supervisado: máxima verosimilitud sobre un formato35 min
- Preferencias y el modelo de recompensa35 min
- RLHF: mejorar la recompensa sin alejarse32 min
- DPO: la derivación completa38 min
- De dónde salen las preferencias: humanos, constituciones y modelos20 min
- Proyecto: ajustar un modelo pequeño en Colab20 min
03Hablar con el modelo es programarEl prompt como especificación, la cadena de pensamiento, la salida estructurada, la recuperación y cómo evaluar.7 lecciones · 3h 35m
- El prompt es una especificación25 min
- Cadena de pensamiento: más tokens, más cómputo25 min
- Salida estructurada: generación restringida35 min
- Embeddings y recuperación: darle al modelo lo que no sabe33 min
- La ventana de contexto es un recurso escaso27 min
- Evaluar: pruebas exactas, jueces y sus trampas35 min
- Proyecto: un asistente que recupera, responde en formato y se mide35 min
04El puente: de texto a accionesLlamar herramientas, el bucle, los errores como observaciones, los permisos y la memoria.7 lecciones · 3h 30m
- Del chat al agente: la mitad que falta25 min
- Llamar herramientas: salida estructurada con consecuencias30 min
- El bucle30 min
- Errores como observaciones30 min
- Permisos y confianza: la herramienta no es el usuario30 min
- Estado y memoria: lo que el bucle recuerda30 min
- Proyecto: un agente completo sobre un modelo guionizado35 min
05Un agente de programación en la terminalEl bucle con un modelo local real, herramientas de ficheros, compactación, sandbox, subagentes y un benchmark.9 lecciones · 3h 47m
- Preparar la máquina: un modelo local y la API de mensajes25 min
- El bucle con un modelo real25 min
- Herramientas: leer, buscar, editar, ejecutar30 min
- El prompt de sistema y el fichero de proyecto22 min
- Compactación: cuando la ventana se llena25 min
- Permisos y sandbox25 min
- Subagentes: un bucle dentro de otro25 min
- Un mini-benchmark: medir harness por modelo25 min
- MCP y lo que viene25 min
Tu instructor
Preguntas frecuentes
¿Cuánto cuesta?
Nada. El curso es gratuito y el último bloque corre con un modelo local en tu ordenador: no hace falta ninguna clave de API ni ningún servicio de pago.
¿Qué necesito saber antes de empezar?
Lo que enseña el curso anterior, Deep Learning para NLP: un Transformer construido desde cero, backpropagation y entropía cruzada. Si vienes de otro sitio con eso mismo, sirve igual.
¿Cuánto tiempo me llevará?
Alrededor de 40 horas si haces los ejercicios y el proyecto final. Vas a tu ritmo; no hay fechas límite.
¿Qué necesito instalar?
Nada hasta el bloque 5. Los cuatro primeros bloques se ejecutan en el navegador, Python incluido. El bloque 5 construye un programa de terminal contra un modelo de lenguaje que corre en tu máquina: Ollama y un modelo de unos 2.5 GB. Te sirve un ordenador con 8 GB de RAM y sin GPU; con más memoria puedes poner un modelo mayor sin cambiar el código.
¿Hay tantas matemáticas como en el primer curso?
Al principio sí y al final no, y es a propósito. Los bloques 1 y 2 derivan; el 3 mezcla; los bloques 4 y 5 son ingeniería: contratos, protocolos y un programa que crece lección a lección. El título va de las matemáticas a los sistemas, y el curso también.
¿Está en inglés?
De momento solo en español. La versión en inglés está planificada.
¿Construyo un Claude Code de verdad?
Construyes un agente de programación en la terminal con las mismas piezas: el bucle, las herramientas, el prompt de sistema, la compactación del contexto, los permisos, los subagentes. Mucho más pequeño, y con un modelo local. La lección del mini-benchmark apunta la herramienta real al mismo modelo y mide las dos con las mismas pruebas.