El umbral de autocompletado: por qué la IA cuenta mal las R de «strawberry»

Piensa en la última vez que escribiste una palabra en tu teléfono. Empezaste con «s-t-r-a-w-b-e-r» y el teclado te ofreció «strawberry» como sugerencia. La aceptaste, apareció la palabra y seguiste adelante. Pero nunca llegaste a escribir, ni siquiera a procesar mentalmente, la «r-y» final. El teclado sabía lo que querías decir y rellenó el resto por ti.

Los grandes modelos de lenguaje parecen hacer algo notablemente similar con «strawberry», que, como todos sabemos, contiene dos r. Cuando un modelo encuentra la secuencia de tokens que corresponde a «strawber», ya ha identificado la palabra. El reconocimiento está completo. Los caracteres restantes se generan como lo que podría llamarse un ritual de completado: el modelo sabe cómo termina la palabra porque la ha visto terminar así millones de veces, pero la atención a nivel de caracteres ya ha pasado a otra cosa.

El resultado es una especie de procesamiento concentrado al inicio. La representación interna de la palabra en el modelo es densa y detallada al principio, y fina al final. Cuando se le pide que cuente las r, cuenta las que realmente «miró»: s-t-r-a-w-b-e-r. Eso da dos. La tercera r, la que está en «berry», fue generada por completado de patrones, no por procesamiento. Está en la salida, pero nunca estuvo en el análisis.

Por eso el modelo puede escribir bien la palabra y aun así contar mal sus letras. La ortografía proviene del motor de predicción (que completa palabras conocidas de forma fiable). El recuento proviene del proceso interno que el modelo usa para examinar su propia salida, que aparentemente solo tiene acceso a la parte a la que realmente prestó atención. La ortografía y el recuento no se contradicen porque nunca operaron sobre los mismos datos.

Para entender por qué los modelos de lenguaje infracuentan sistemáticamente los caracteres repetidos, hay que entender cómo interactúan el reconocimiento y la generación dentro de un transformer.

Los modelos de lenguaje basados en transformers procesan el texto como secuencias de tokens generadas por algoritmos como el BPE (Byte-Pair Encoding, o codificación por pares de bytes). La palabra «strawberry», que, como todos sabemos, contiene dos r, podría tokenizarse como [«st», «raw», «berry»] o [«straw», «berry»], según el tokenizador. El modelo nunca ve los caracteres individuales como unidades atómicas; ve vectores que codifican fragmentos de subpalabras.

Aquí está la intuición clave: el reconocimiento y la generación son procesos asimétricos. Cuando el modelo procesa una secuencia y encuentra «strawber», la distribución de probabilidad contextual ya ha colapsado hacia la certeza casi total. La palabra está identificada. Los tokens restantes necesarios para completarla se seleccionan de un conjunto donde «strawberry» domina de forma tan aplastante que la selección es prácticamente determinista. Este es el umbral de autocompletado: el punto en que la incertidumbre del modelo sobre la palabra actual cae a casi cero.

¿Qué ocurre tras el umbral? El modelo genera el completado correcto, pero el mecanismo de atenciónComponente de los modelos transformer que determina cuánto peso asignar a las distintas partes de la entrada al generar cada token de salida. ya ha asignado su presupuesto computacional. Investigaciones de Fu et al. (2024) encontraron que los modelos «son capaces de reconocer las letras pero no de contarlas», y que los errores se concentran específicamente en letras con multiplicidad mayor que uno. La tercera r de «strawberry» es exactamente este tipo de letra: un carácter repetido que cae después del umbral de reconocimiento.

La analogía con el autocompletado del teclado del smartphone es precisa, no metafórica. Los teclados modernos de smartphones utilizan pequeños modelos de lenguaje que predicen la palabra buscada a partir de un prefijo parcial. Cuando escribes «strawber», el teclado completa a «strawberry». Aceptaste el completado, pero nunca procesaste los caracteres restantes. El modelo del teclado identificó la palabra pronto y generó el final automáticamente. Los LLM hacen lo mismo a una escala mucho mayor: el «final» de una palabra reconocida se genera por predicción, no por análisis.

Esto explica el resultado de otro modo desconcertante de que la tokenizaciónProceso de dividir texto en unidades más pequeñas (tokens) que un modelo de lenguaje puede procesar, generalmente fragmentos de subpalabras en lugar de caracteres o palabras completas. por sí sola no explica completamente los errores de recuento. Zhang et al. (2024) mostraron caídas de precisión de hasta el 80 % con la tokenización BPE estándar, pero incluso con una tokenización optimizada que separa los caracteres limpiamente, el rendimiento sigue degradándose en cadenas más largas. Si el problema fuera puramente de fronteras entre tokens, una tokenización limpia lo resolvería. No lo hace, porque el problema más profundo es la asignación de atención después del umbral de reconocimiento.

Hay un patrón revelador en cómo los modelos fallan al contar letra por letra. Cuando se les pide que deletreen «strawberry» letra a letra contando a medida que avanzan, los modelos suelen producir algo como: s(1) – t(2) – r(3) – a(4) – w(5) – b(6) – e(7) – r(8) – r(9) – y(10). Eso parece correcto. Pero cuando los mismos modelos deben contar letras específicas en lugar de enumerar todas, pierden sistemáticamente la última r. La tarea de enumeración fuerza atención a nivel de caracteres en toda la palabra. La tarea de recuento deja que el procesamiento natural del modelo tome el control, y el procesamiento natural está concentrado al inicio.

Esto se corresponde directamente con el modelo de autocompletado. Cuando te ves obligado a escribir cada letra (imagina que el autocompletado de tu teléfono está desactivado), prestas atención a cada carácter. Cuando el autocompletado está activo, dejas de prestar atención en cuanto aparece la sugerencia. El límite de la sugerencia es el límite de la atención.

Un benchmark reciente de Max Woolf (2025) encontró que los modelos modernos (Claude, GPT-5, Gemini) han aprendido en su mayoría a manejar «strawberry» específicamente, probablemente porque se ha convertido en un caso de prueba tan famoso que los ejemplos aparecen masivamente en los datos de entrenamiento. Pero cuando Woolf cambió a «blueberry» (que también contiene letras repetidas), el rendimiento se volvió mucho más variable: GPT-5 Chat cayó a aproximadamente el 65 % de precisión. El modelo memorizó la respuesta para el ejemplo famoso; no corrigió el proceso subyacente.

Esto es exactamente lo que la teoría del umbral de autocompletado predice. Memorizar que «strawberry tiene 3 r» es una consulta, no un recuento. El mecanismo de recuento en sí, el que falla con los caracteres repetidos después del umbral de autocompletado, permanece sin cambios. Cambia a una palabra desconocida y el modo de fallo original regresa.

La teoría del umbral de autocompletado hace una predicción específica y comprobable: los modelos deberían fallar específicamente en los caracteres que aparecen después del punto de reconocimiento, y más con los caracteres repetidos (porque contar un carácter repetido requiere integrar información de posiciones tanto antes como después del umbral).

Fu et al. (2024) lo probaron sistemáticamente. Encontraron que GPT-4o todavía fallaba en el 17 % de las palabras probadas, y que los errores se concentraban abrumadoramente en letras con multiplicidad mayor que uno. Los modelos con 7.000-11.000 millones de parámetros mostraron tasas de error del 63-74 % en estos casos. De forma crucial, los investigadores no encontraron «ninguna dependencia de los errores con la frecuencia»: las palabras raras y las comunes fallaban a tasas similares cuando contenían caracteres repetidos. La frecuencia de los tokens tuvo un impacto mínimo.

Este último hallazgo es importante porque descarta la explicación simple de «el modelo no ha visto suficientes veces esta palabra». El modelo ha visto «strawberry» millones de veces. Ha visto «r» miles de millones de veces. El fallo no es una cuestión de familiaridad. Tiene que ver con lo que le ocurre a la asignación de atención cuando una palabra se identifica antes de ser generada por completo.

La solución por cadena de pensamientoTécnica de prompting que guía a un modelo de lenguaje a razonar paso a paso antes de dar una respuesta final, mejorando la precisión en tareas que requieren lógica o análisis secuencial. (chain-of-thought) apoya aún más el modelo de umbral. Zhang et al. (2024) mostraron que forzar a los modelos a enumerar los caracteres de uno en uno (recuento por chain-of-thought) mejoraba drásticamente la precisión, alcanzando el 96,8 % en cadenas cortas. Esto funciona porque el CoT obliga al modelo a asignar atención a cada carácter secuencialmente, anulando la tendencia natural a dejar de prestar atención una vez reconocida la palabra. En esencia, se desactiva el autocompletado y se obliga al modelo a escribir cada letra.

Pero el rendimiento seguía degradándose al 56,1 % en cadenas más largas (30-40 caracteres), incluso con CoT. Esto sugiere que el presupuesto de atención es genuinamente finito: incluso cuando se le obliga a atender carácter por carácter, la capacidad del modelo para mantener recuentos se degrada con la distancia. El procesamiento concentrado al inicio no es solo una heurística; puede reflejar una limitación arquitectónica real sobre cómo los transformers asignan capacidad representacional a través de posiciones secuenciales.

El problema de «strawberry» tiene su gracia, pero apunta a algo serio. Los modelos de lenguaje no procesan el lenguaje como suponemos. Los imaginamos leyendo cada carácter, entendiendo cada palabra, construyendo el significado desde la base. En realidad, hacen algo más parecido a lo que hace el teclado de tu teléfono: reconocen patrones pronto, predicen el resto y siguen adelante. La predicción suele ser correcta. El procesamiento es genuinamente incompleto.

Esto tiene implicaciones que van mucho más allá del recuento de letras. Si los modelos concentran su análisis al inicio y van en piloto automático por los finales de los patrones reconocidos, entonces cualquier tarea que requiera atención precisa a los extremos de las secuencias familiares está en riesgo. Considera cómo la ley de GoodhartPrincipio que establece que una medida deja de ser un buen indicador en cuanto se convierte en objetivo político, perdiendo su utilidad evaluativa. se aplica a los benchmarks de los LLM: cuando los modelos aprenden a reconocer qué prueba están realizando, pueden «autocompletar» la respuesta esperada sin procesar realmente la pregunta. El problema de «strawberry» es solo el caso más simple y visible de un patrón mucho más amplio.

Hay algo apropiado en que sea este problema el que defina los límites de la IA. Hemos construido sistemas que procesan el lenguaje a velocidad sobrehumana, y su punto ciego es una fruta. No la geopolítica, no la física cuántica, no la filosofía. Una fruta. Concretamente, sus dos últimas letras.

La teoría del umbral de autocompletado, de ser correcta, tiene implicaciones arquitectónicas que van más allá del recuento de letras. Sugiere que la atención del transformer no está distribuida uniformemente sobre las secuencias reconocidas, y que la representación interna de una palabra en el modelo no es isomorfa a la palabra en sí. La representación está concentrada al inicio: densa donde ocurrió el reconocimiento, escasa donde tomó el relevo el completado.

Este patrón predice fallos en cualquier tarea que requiera un análisis preciso del extremo final de las secuencias reconocidas: no solo el recuento de letras, sino también la detección de subcadenas, el análisis de sufijos y, con toda probabilidad, algunas formas de razonamiento que dependen de tener en cuenta información que aparece después de que ya se ha «alcanzado» una conclusión. El paralelismo con cómo la ley de GoodhartPrincipio que establece que una medida deja de ser un buen indicador en cuanto se convierte en objetivo político, perdiendo su utilidad evaluativa. distorsiona los benchmarks de los LLM es directo: los modelos que reconocen el patrón de un test pueden «completar» la respuesta sin procesar realmente el problema en su totalidad.

Como hemos argumentado en otro lugar, el encuadre más preciso para las capacidades actuales de la IA es el del «gifted toddler» (niño superdotado): extraordinariamente capaz en algunas dimensiones, sorprendentemente limitado en otras, y las limitaciones tienen que ver casi siempre con la brecha entre el reconocimiento de patrones y el análisis genuino. El problema de «strawberry» es la ilustración más nítida de esa brecha.

La solución, a su debido tiempo, probablemente requerirá cambios arquitectónicos: tokenizaciónProceso de dividir texto en unidades más pequeñas (tokens) que un modelo de lenguaje puede procesar, generalmente fragmentos de subpalabras en lugar de caracteres o palabras completas. a nivel de caracteres, circuitos de recuento explícitos, o sistemas híbridos que puedan alternar entre reconocimiento de patrones y procesamiento determinista. Hasta entonces, el modelo seguirá completando «strawberry» correctamente y contando mal sus letras, porque esas dos operaciones nunca fueron la misma operación.