Perplejidad: medir un modelo de lenguaje

El muestreoBloque 1 · Lección 4Muestreo: temperatura, top-k y top-pUna distribución no es un texto: para escribir hay que quedarse con un token en cada posición. La lección deriva la familia entera de reglas a partir de un solo mando, la temperatura, cuyos dos extremos son la favorita de siempre y el sorteo uniforme; demuestra por qué la generación voraz acaba en un ciclo del que no sale y por qué sortear sin más acaba sacando tokens de la cola; y presenta top-k y top-p como dos maneras de cortar esa cola antes de sortear. Todo medido sobre el mini-GPT. y la caché de claves y valoresBloque 1 · Lección 5La caché de claves y valores: cuánto cuesta cada tokenPara escribir cada token, el mini-GPT volvía a pasar el texto entero por la red. La lección demuestra que las claves y los valores de las posiciones ya leídas no cambian, los guarda en una caché y cuenta lo que cuesta cada token con ella y sin ella: sin ella, exactamente t veces más; con ella, una memoria que crece con el texto y que en un modelo grande llega a ocupar más que sus pesos. Todo medido sobre el mini-GPT, y contra el reloj. dejaron resuelto cómo escribe el mini-GPT y cuánto cálculo le cuesta cada token. Falta saber cuánto sabe. La cifra que el bloque viene citando es su pérdida sobre las páginas de Marianela que se apartaron antes de entrenarlo: $3.2$ por token. Ahora piensa en un modelo mucho más tosco. Cuenta cuántas veces sale cada byte en la parte de la novela con la que se entrenó el mini-GPT y, en cada posición, apuesta por los 256 en esas proporciones, sin mirar nada de lo que hay detrás. Sobre las mismas páginas reservadas paga $3.20$ por token.

La misma cifra. ¿Es el mini-GPT, con sus $136\,448$ parámetros y sus 2 000 pasos de entrenamiento, tan bueno como contar letras? No, y la razón es el primer asunto de esta lección: los dos pagan por token, y sus tokens no son lo mismo. El del modelo que cuenta bytes es un byte; el del mini-GPT, más de dos. Una pérdida por token mide a la vez al modelo y a su tokenizador, y sólo compara modelos que cortan igual. Esta lección construye la medida que compara cualquier par, le pone al lado dos varas de medir y demuestra lo que la lección sobre el entrenamientoBloque 1 · Lección 3Entrenar un mini-GPT en NumPyEl checkpoint del bloque es el resultado de 2 000 pasos de un bucle que esta lección escribe entero. Cada paso sigue la pérdida media de unas pocas ventanas del corpus sacadas al azar, y la lección deriva por qué eso apunta, de media, adonde apuntaría el corpus entero, y cuánto ruido cuesta ahorrarse el resto. El paso es AdamW, con una tasa de aprendizaje que se calienta y luego decae. Con todo ello el mini-GPT sigue entrenando en el navegador, sobre las últimas páginas de Marianela, que no había visto. dejó pendiente: por qué la pérdida se mide sobre texto que el modelo no ha visto, y qué pasa cuando deja de serlo.

Hay una manera de leer $3.2$ sin logaritmos. Un modelo que en cada posición dudara exactamente entre $k$ candidatas igual de probables, una de ellas siempre la buena, pagaría $\ln k$ por token; con $k = 24$, $3.18$. Leída al revés, la pérdida del mini-GPT dice que ante las páginas reservadas duda como si en cada token tirara un dado de unas 24 caras, elegidas entre las 512 entradas del vocabulario. El modelo que cuenta bytes tira también un dado de 24 caras, pero lo tira en cada byte.

Y ahí está la diferencia. Una tirada del mini-GPT escribe de media 2.14 bytes, y repartida entre ellos equivale a un dado de algo más de cuatro caras por byte. El modelo que cuenta bytes necesita sus 24 caras para cada uno. Contado por byte, el mini-GPT duda más de cinco veces menos.

La perplejidad: la pérdida contada en candidatas

La lección sobre el modelo de lenguaje causalBloque 1 · Lección 1Una sola columna: el modelo de lenguaje causalEl curso anterior eligió una columna del Transformer, le puso la máscara en todos los bloques y le pidió el token siguiente, posición a posición. Esta lección hace la pregunta que aquél no hizo, qué probabilidad le da ese modelo a un texto entero, y de la respuesta sale todo lo demás: la regla de la cadena convierte esa probabilidad, sin perder nada, en un producto de condicionales; la máscara causal es lo que permite calcular las T de una ventana en una sola pasada; y la pérdida es el logaritmo de ese producto, cambiado de signo y repartido por token. Sin código a propósito: la cuenta se hace a mano sobre una ventana de cuatro palabras, y sale un dieciseisavo por los dos caminos. escribió la pérdida de un texto como el logaritmo de su probabilidad, cambiado de signo y repartido entre sus $T$ tokens predichos. Ese logaritmo es el natural, y la pérdida sale en nats; en esta lección, $\log$ a secas es $\ln$. Deshagamos el logaritmo. La perplejidad del modelo sobre el texto es

la media geométrica de los inversos de las apuestas por lo que de verdad vino. Si todas valen $1/k$, cada inverso vale $k$ y $\text{PPL} = k$: el dado de arriba, ahora exacto. El modelo uniforme, que da $1/\lvert V \rvert$ a todo, tiene $\text{PPL} = \lvert V \rvert$, 512 con el vocabulario del mini-GPT; uno que lo apostara todo a la verdad, siempre, tiene $1$. Que la media sea geométrica tiene un precio: una apuesta casi nula por algo que ocurrió pesa más que muchas buenas, y una apuesta nula la hace infinita.

La perplejidad no depende de la base del logaritmo. Con $\log_2$, la pérdida sale en bits, y vale $\mathcal{L}/\ln 2$; el mini-GPT paga $3.2/0.693 \approx 4.6$ bits por token. Pero $2^{\mathcal{L}/\ln 2} = e^{\mathcal{L}}$: el mismo número de caras, se cuente en la unidad que se cuente.

Bits por byte: una medida que no depende del tokenizador

La perplejidad hereda el defecto de la pérdida: las dos van por token. Dos tokenizadores parten el mismo texto en números distintos de tokens, y un modelo de tokens más largos reparte la misma dificultad entre menos apuestas, cada una más difícil. Lo que no cambia con el corte es el texto: sus $n$ bytes, y la probabilidad que el modelo le da a él entero, $e^{-T\mathcal{L}}$. Dividamos lo que cuesta el texto entero, en bits, entre sus bytes:

con $n$ los bytes de los $T$ tokens predichos y $\bar{\ell} = n/T$ los bytes por token de la lección sobre BPEBloque 1 · Lección 2BPE de verdad: fusionar, no solo partirEl tokenizador del mini-GPT, escrito desde cero. BPE parte de los 256 bytes con los que se escribe cualquier texto y repite una sola operación: contar los pares de tokens vecinos y fusionar el más frecuente. Esta lección deriva lo que eso garantiza (ningún texto se queda sin tokens, y decodificar devuelve el original byte a byte) y lo que cuesta (cada fusión es una entrada más del vocabulario y ahorra menos tokens que la anterior), y lo comprueba entrenando sobre Marianela las mismas fusiones que usa el modelo.. Son los bits por byte (bits per byte, bpb). El mini-GPT, con $\bar{\ell} = 2.14$ en el texto reservado, paga $3.2/(2.14 \cdot 0.693) \approx 2.16$; el que cuenta bytes, con $\bar{\ell} = 1$, $3.20/0.693 \approx 4.62$. Y $2^{\text{bpb}}$ es la perplejidad por byte: el dado de algo más de cuatro caras frente al de 24.5.

(Con rigor, el modelo reparte también algo de probabilidad entre cortes del mismo texto que el tokenizador nunca produce, y esa masa se pierde. Los artículos la ignoran, y esta cuenta también.)

El tokenizador no desaparece de la cuenta: pasa a formar parte de lo que se mide. Por eso el modelo uniforme sobre las 512 entradas del mini-GPT, que no sabe nada, paga $9/2.14 \approx 4.20$ bits por byte, menos que el modelo que cuenta bytes. Las fusiones ya son un poco de español.

Dos varas de medir, y dónde se mide

Un número solo no dice si es bueno. El modelo uniforme es la vara más pobre posible. La siguiente sabe una cosa, con qué frecuencia sale cada entrada, y nada del orden. Llamemos $f(v)$ a las veces que la entrada $v$ aparece en la parte de entrenamiento, como $f(a, b)$ contaba pares en la lección sobre BPE. El modelo de unigramas da en cada posición la misma distribución, sea cual sea el prefijo:

El $+1$ es el suavizado de Laplace, y no es un adorno. Una entrada con $f(v) = 0$ recibiría probabilidad cero, y si aparece en el texto que se mide, la pérdida es infinita. Al mini-GPT no le puede pasar: el softmax nunca da cero. Con $125\,789$ tokens de entrenamiento, sumar uno apenas mueve las demás frecuencias.

Sin el uno, este modelo es el mejor que no mira el contexto: sobre el texto donde se contaron las frecuencias, ninguna distribución fija paga menos que ellas. Por eso lo que el mini-GPT paga por debajo del modelo de unigramas es lo que le compra el contexto, y nada más.

Por qué la pérdida sobre el entrenamiento engaña

Queda dónde medir. Para unos pesos fijados de antemano, la pérdida media sobre ventanas de la parte de entrenamiento, el $\mathcal{L}_{\text{corpus}}(\theta)$ de la lección sobre el entrenamiento, y la misma media sobre ventanas del texto reservado, $\mathcal{L}_{\text{res}}(\theta)$, estiman lo mismo si los dos textos salen del mismo sitio: la pérdida media sobre todo el texto de ese origen, que llamaremos $\bar{\mathcal{L}}(\theta)$. Es el argumento del batch de aquella lección: una media de ventanas sacadas al azar no tiene sesgo.

Pero los pesos del checkpoint no se fijaron de antemano: se eligieron bajando $\mathcal{L}_{\text{corpus}}$, mirando justo esas ventanas. Llamemos $\theta_{\text{corpus}}$ a los que la hacen mínima y $\theta^{\star}$ a los que hacen mínima $\bar{\mathcal{L}}$, los mejores que esta red puede tener. Con la media tomada sobre el azar que decide qué texto cae en cada parte,

La primera desigualdad es la definición de $\theta_{\text{corpus}}$: sobre su corpus no paga más que nadie. La igualdad siguiente vale porque $\theta^{\star}$ no depende del corpus; la segunda desigualdad es la definición de $\theta^{\star}$; y la última igualdad vale porque $\theta_{\text{corpus}}$ no depende del texto reservado. Leída de punta a punta, la pérdida de entrenamiento queda de media por debajo incluso de la de la mejor red posible, y la del texto reservado estima sin sesgo lo que se paga con texto nuevo.

Dos salvedades. El checkpoint no es $\theta_{\text{corpus}}$, porque 2 000 pasos no llegan al mínimo: la cadena dice hacia dónde, no cuánto. Y el texto reservado no está del todo limpio. Es el final de la novela y no una muestra al azar, las fusiones del tokenizador se contaron sobre la novela entera, y eligió el checkpoint: el paso 1 750 fue el de menor pérdida sobre él entre ocho candidatos. Elegir entre ocho sesga poco; entre miles, como cuando se prueban hiperparámetros contra él, sesgaría mucho. Por eso los artículos apartan además un texto de prueba que sólo se mira al final.

Las varas de medir y el mini-GPT, en el navegador

La primera celda usa sólo el tokenizador; la segunda y la tercera corren sobre el mini-GPT, el checkpoint del bloque. Las tres apartan el mismo 10 % final del corpus como texto reservado. La primera mide el modelo de unigramas con tres tokenizadores (las 0, 64 y 256 primeras fusiones), con el uniforme al lado, y antes dice qué caracteres del texto reservado no salen en la parte de entrenamiento.

Lee la tabla por columnas. La pérdida por token y la perplejidad suben con las fusiones, de $24.5$ a $204.3$: cada token es un trozo más largo, y sin contexto es más difícil de acertar. Los bits por byte bajan, de $4.62$ a $3.58$, y ésa es la dirección buena: con más fusiones, el modelo de unigramas sabe más del texto. Por token parecería que empeora. La primera fila es el modelo que cuenta bytes del principio, el de unigramas sin fusiones, con su $3.200$.

La primera línea explica la última. La parte de entrenamiento no tiene los dígitos 1, 2, 6, 7 ni 8, ni la Í, que salen en una inscripción de las últimas páginas y en la fecha con la que Galdós firma la novela: 10 tokens con frecuencia cero. Cambia (f + 1) / (f + 1).sum() por f / f.sum() y vuelve a ejecutarla: las tres pérdidas salen inf.

La segunda pone al mini-GPT al lado del modelo de unigramas de 256 fusiones, que tiene su mismo tokenizador, sobre las mismas 32 ventanas de 64 tokens de cada parte. nats es la pérdida de la lección sobre el modelo causal sin promediar: un número por posición.

Sobre el texto reservado, el mini-GPT paga $3.182$ por token: perplejidad $24.1$ y $2.13$ bits por byte. (Es una muestra de $2\,048$ tokens; sobre el texto reservado entero, el guion que produjo el checkpoint mide $3.204$.) El modelo de unigramas paga $5.308$, perplejidad $202$. El contexto le compra al mini-GPT $2.1$ nats por token: dividir entre ocho las candidatas.

Y compara las dos partes. El modelo de unigramas paga casi lo mismo en las dos, $5.294$ y $5.308$: con 511 números libres no puede aprenderse el texto de entrenamiento. El mini-GPT paga $2.556$ sobre el de entrenamiento, $0.63$ menos que sobre el reservado. Es la cadena de arriba, medida. Leyó cada token de esa parte unas veintiocho veces, y parte de lo que sabe de ella lo sabe de memoria.

La tercera responde a lo que quedó pendiente en la lección sobre el entrenamiento. Allí, seguir entrenando sobre las últimas páginas de la novela bajaba la pérdida sobre esas mismas páginas. La celda repite aquel bucle en 100 pasos y mide antes y después sobre esas páginas y sobre el resto del texto reservado, que el bucle no toca.

Sobre las páginas con las que entrena, la pérdida baja de $3.595$ a $3.240$; sobre el resto del texto reservado, sube de $3.030$ a $3.095$. El mini-GPT no ha aprendido español: se ha aprendido esas páginas, sus nombres y sus palabras, y lo ha pagado en lo demás. Desde el primer paso, esas páginas dejaron de ser texto reservado para él, y su pérdida pasó a medir lo que mide la de entrenamiento. Cambia la semilla del bucle (el default_rng(0) de la línea del Adam): las cifras se mueven y los signos no.

Comprueba tu intuición

Cuatro preguntas: una perplejidad a mano, dos tokenizadores frente a frente, lo que hace falta para medir sin sesgo y una probabilidad cero.

El mini-GPT tiene ya una cifra que se puede poner al lado de otras: unos 2.2 bits por byte sobre las páginas reservadas de Marianela, tokenizador incluido, frente a los 3.6 del modelo de unigramas y los 4.2 del que no sabe nada. Y la segunda celda dice por dónde flojea. Su pérdida de entrenamiento queda $0.6$ por debajo de la reservada porque ha leído su corpus decenas de veces: tiene demasiados parámetros para tan poco texto, o demasiado poco texto para tantos parámetros, y las dos frases no piden lo mismo.

Cuál de las dos es la buena tiene una respuesta cuantitativa. La pérdida sobre texto no visto baja como una potencia del número de parámetros, del de tokens de entrenamiento y del cálculo gastado, y con un presupuesto fijo hay un reparto mejor que los demás entre modelo y datos. Medir esas potencias y ver dónde cae el mini-GPT respecto a ese reparto es la lección siguiente, sobre las leyes de escala.