Lo que explico en clase, por escrito
Artículos sobre programación, matemáticas e IA. Un concepto por artículo, con la parte difícil incluida en lugar de escondida.
Por qué AdamW para entrenar modelos de lenguaje, y qué está cambiando
Entre todos los métodos de optimización que existen, los modelos de lenguaje se entrenan con el más simple, y con una variante concreta de él: AdamW. Por qué a esa escala la única información que se puede pagar es el gradiente, cómo cada mejora recompra a plazos la curvatura que Newton tenía gratis, y qué ha empezado a cambiar en 2026.
Leer el artículoLa evolución del tokenizador: de las palabras a los bytes
«El niño juega en el jardín» costaba doce tokens en 2019 y hoy cuesta siete, los mismos que su traducción inglesa. La historia de por qué: del tokenizador de palabras a BPE, WordPiece, Unigram y el suelo de bytes.
Leer el artículoInicia sesión para recibir una notificación cuando publique un artículo nuevo