Le seuil d’autocomplétion : pourquoi l’IA compte mal les R dans « strawberry »

Pensez à la dernière fois que vous avez tapé un mot sur votre téléphone. Vous avez commencé par « s-t-r-a-w-b-e-r » et le clavier a proposé « strawberry ». Vous avez tapé la suggestion, le mot est apparu, et vous êtes passé à autre chose. Mais vous n’avez jamais réellement tapé, ni même mentalement traité, le « r-y » final. Le clavier savait ce que vous vouliez dire et a complété le reste à votre place.

Les grands modèles de langage semblent faire quelque chose de remarquablement similaire avec « strawberry », qui contient, comme chacun le sait, deux r. Lorsqu’un modèle rencontre la séquence de tokens correspondant à « strawber », il a déjà identifié le mot. La reconnaissance est complète. Les caractères restants sont générés comme ce que l’on pourrait appeler un rituel de complétion : le modèle sait comment le mot se termine parce qu’il l’a vu se terminer ainsi des millions de fois, mais l’attention au niveau des caractères est déjà passée à autre chose.

Il en résulte une sorte de traitement frontal. La représentation interne du mot par le modèle est dense et détaillée au début, et mince à la fin. Quand on lui demande de compter les r, il compte ceux qu’il a réellement « regardés » : s-t-r-a-w-b-e-r. Cela donne deux. Le troisième r, celui dans « berry », a été généré par complétion de motif et non par traitement. Il est dans la sortie, mais il n’a jamais été dans l’analyse.

Voilà pourquoi le modèle peut orthographier le mot correctement et néanmoins en compter mal les lettres. L’orthographe vient du moteur de prédiction (qui complète les mots connus de façon fiable). Le comptage vient du processus interne que le modèle utilise pour examiner sa propre sortie, lequel n’a apparemment accès qu’à la partie qu’il a réellement examinée. L’orthographe et le comptage ne se contredisent pas parce qu’ils n’ont jamais opéré sur les mêmes données.

Pour comprendre pourquoi les modèles de langage sous-comptent systématiquement les caractères répétés, il faut comprendre comment la reconnaissance et la génération interagissent à l’intérieur d’un transformer.

Les modèles de langage basés sur les transformers traitent le texte comme des séquences de tokens générées par des algorithmes tels que le BPE (Byte-Pair Encoding, ou codage par paires d’octets). Le mot « strawberry », qui contient, comme chacun le sait, deux r, peut être tokenisé en [« st », « raw », « berry »] ou [« straw », « berry »], selon le tokenizer. Le modèle ne voit jamais les caractères individuels comme des unités atomiques ; il voit des vecteurs encodant des fragments de sous-mots.

Voici l’intuition centrale : la reconnaissance et la génération sont des processus asymétriques. Lorsque le modèle traite une séquence et rencontre « strawber », la distribution de probabilités contextuelle s’est déjà effondrée vers une quasi-certitude. Le mot est identifié. Le ou les tokens restants nécessaires pour compléter le mot sont sélectionnés dans un ensemble où « strawberry » domine si largement que la sélection est pour ainsi dire déterministe. C’est le seuil d’autocomplétion : le point auquel l’incertitude du modèle sur le mot en cours tombe à quasi-zéro.

Que se passe-t-il après le seuil ? Le modèle génère la complétion correcte, mais le mécanisme d’attention a déjà alloué son budget de calcul. Des recherches de Fu et al. (2024) ont montré que les modèles « sont capables de reconnaître les lettres, mais pas de les compter », et que les erreurs se concentrent précisément sur les lettres dont la multiplicité est supérieure à un. Le troisième r dans « strawberry » est exactement ce type de lettre : un caractère répété qui tombe après le seuil de reconnaissance.

L’analogie avec l’autocomplétion du clavier de smartphone est précise, non métaphorique. Les claviers modernes pour smartphones utilisent de petits modèles de langage qui prédisent le mot voulu à partir d’un préfixe partiel. Quand vous tapez « strawber », le clavier complète en « strawberry ». Vous avez accepté la complétion, mais vous n’avez jamais traité les caractères restants. Le modèle du clavier a identifié le mot tôt et a généré la fin automatiquement. Les LLM font la même chose à une bien plus grande échelle : la « queue » d’un mot reconnu est générée par prédiction, non par analyse.

Cela explique le résultat autrement déroutant que la tokenisationProcessus de découpage du texte en unités (tokens) qu'un modèle de langage peut traiter, souvent des fragments de sous-mots plutôt que des caractères ou des mots entiers. seule ne rend pas entièrement compte des erreurs de comptage. Zhang et al. (2024) ont montré des baisses de précision allant jusqu’à 80 % avec la tokenisation BPE standard, mais même avec une tokenisation optimisée séparant proprement les caractères, les performances se dégradent toujours sur les chaînes longues. Si le problème était purement lié aux frontières des tokens, une tokenisation propre le résoudrait. Ce n’est pas le cas, car le problème plus profond concerne l’allocation de l’attention après le seuil de reconnaissance.

Il y a un schéma révélateur dans la façon dont les modèles échouent au comptage lettre par lettre. Quand on leur demande d’épeler « strawberry » une lettre à la fois en comptant au fur et à mesure, les modèles produisent fréquemment quelque chose comme : s(1) – t(2) – r(3) – a(4) – w(5) – b(6) – e(7) – r(8) – r(9) – y(10). Ça semble correct. Mais quand les mêmes modèles doivent compter des lettres spécifiques plutôt qu’énumérer toutes les lettres, ils perdent systématiquement le dernier r. La tâche d’énumération force une attention au niveau des caractères sur l’ensemble du mot. La tâche de comptage laisse le traitement naturel du modèle prendre le dessus, et le traitement naturel est frontal.

Cela correspond exactement au modèle d’autocomplétion. Quand vous êtes forcé de taper chaque lettre (imaginez que l’autocomplétion de votre téléphone soit désactivée), vous prêtez attention à chaque caractère. Quand l’autocomplétion est activée, vous cessez de prêter attention dès que la suggestion apparaît. La frontière de la suggestion est la frontière de l’attention.

Un benchmark récent de Max Woolf (2025) a montré que les modèles modernes (Claude, GPT-5, Gemini) ont pour la plupart appris à gérer « strawberry » spécifiquement, vraisemblablement parce que c’est devenu un cas de test si célèbre que des exemples apparaissent massivement dans les données d’entraînement. Mais quand Woolf est passé à « blueberry » (qui contient également des lettres répétées), les performances sont devenues beaucoup plus variables : GPT-5 Chat est tombé à environ 65 % de précision. Le modèle a mémorisé la réponse pour l’exemple célèbre ; il n’a pas corrigé le processus sous-jacent.

C’est exactement ce que l’on prédirait selon la théorie du seuil d’autocomplétion. Mémoriser que « strawberry a 3 r » est une simple consultation, pas un comptage. Le mécanisme de comptage lui-même, celui qui échoue sur les caractères répétés après le seuil d’autocomplétion, reste inchangé. Passez à un mot non familier et le mode d’échec originel réapparaît.

La théorie du seuil d’autocomplétion formule une prédiction précise et testable : les modèles devraient échouer spécifiquement sur les caractères apparaissant après le point de reconnaissance, et davantage sur les caractères répétés (car compter un caractère répété nécessite d’intégrer des informations de positions situées avant et après le seuil).

Fu et al. (2024) ont testé cela de façon systématique. Ils ont constaté que GPT-4o échouait encore sur 17 % des mots testés, et que les erreurs se concentraient massivement sur les lettres dont la multiplicité est supérieure à un. Les modèles avec 7 à 11 milliards de paramètres affichaient des taux d’erreur de 63 à 74 % sur ces cas. Fait crucial, les chercheurs n’ont trouvé « aucune dépendance des erreurs à la fréquence » : les mots rares et les mots courants échouaient à des taux similaires lorsqu’ils contenaient des caractères répétés. La fréquence des tokens avait un impact minimal.

Ce dernier résultat est important car il invalide l’explication simple selon laquelle « le modèle n’a pas assez vu ce mot ». Le modèle a vu « strawberry » des millions de fois. Il a vu « r » des milliards de fois. L’échec n’est pas une question de familiarité. Il concerne ce qui arrive à l’allocation de l’attention lorsqu’un mot est identifié avant d’avoir été entièrement généré.

La solution de contournement par chaîne de penséeTechnique de sollicitation qui guide un modèle de langage à raisonner étape par étape avant de donner une réponse finale, améliorant la précision sur les tâches complexes. (chain-of-thought) vient étayer le modèle du seuil. Zhang et al. (2024) ont montré que forcer les modèles à énumérer les caractères un à un (comptage en chain-of-thought) améliorait considérablement la précision, atteignant 96,8 % sur les chaînes courtes. Cela fonctionne parce que le CoT force le modèle à allouer son attention à chaque caractère séquentiellement, contournant la tendance naturelle à cesser d’observer une fois le mot reconnu. On désactive en quelque sorte l’autocomplétion et on contraint le modèle à taper chaque lettre.

Mais les performances se dégradaient quand même à 56,1 % sur les chaînes longues (30 à 40 caractères), même avec le CoT. Cela suggère que le budget d’attention est réellement fini : même lorsqu’on l’oblige à prêter attention caractère par caractère, la capacité du modèle à maintenir des comptages se dégrade avec la distance. Le traitement frontal n’est pas qu’une heuristique ; il pourrait refléter une contrainte architecturale réelle sur la façon dont les transformers allouent la capacité représentationnelle à travers les positions séquentielles.

Le problème de « strawberry » est amusant, mais il pointe vers quelque chose de sérieux. Les modèles de langage ne traitent pas le langage comme nous le supposons. On les imagine lire chaque caractère, comprendre chaque mot, construire le sens de bas en haut. En réalité, ils font quelque chose qui se rapproche davantage de ce que fait le clavier de votre téléphone : reconnaître les motifs tôt, prédire le reste et passer à la suite. La prédiction est généralement correcte. Le traitement est réellement incomplet.

Cela a des implications bien au-delà du comptage de lettres. Si les modèles concentrent leur analyse au début et font du pilote automatique sur la fin des motifs reconnus, alors toute tâche nécessitant une attention précise à la fin des séquences familières est à risque. Considérez comment la loi de GoodhartPrincipe selon lequel une mesure perd sa valeur indicative dès qu'elle devient un objectif politique, la rendant inutile pour évaluer les politiques publiques. s’applique aux benchmarks des LLM : quand les modèles apprennent à reconnaître quel test leur est soumis, ils peuvent « autocompléter » la réponse attendue sans traiter pleinement la question. Le problème de « strawberry » n’est que le cas le plus simple et le plus visible d’un schéma bien plus large.

Il y a quelque chose d’approprié dans le fait que ce soit ce problème qui définisse les limites de l’IA. Nous avons construit des systèmes qui traitent le langage à une vitesse surhumaine, et leur angle mort est un fruit. Pas la géopolitique, pas la physique quantique, pas la philosophie. Un fruit. Plus précisément, ses deux dernières lettres.

La théorie du seuil d’autocomplétion, si elle est correcte, a des implications architecturales dépassant le simple comptage de lettres. Elle suggère que l’attention des transformers n’est pas uniformément distribuée sur les séquences reconnues, et que la représentation interne d’un mot par le modèle n’est pas isomorphe au mot lui-même. La représentation est frontale : dense là où la reconnaissance a eu lieu, clairsemée là où la complétion a pris le relais.

Ce schéma prédirait des échecs dans toute tâche nécessitant une analyse précise de la fin des séquences reconnues : non seulement le comptage de lettres, mais aussi la détection de sous-chaînes, l’analyse de suffixes, et sans doute certaines formes de raisonnement qui dépendent de la prise en compte d’informations apparaissant après qu’une conclusion a déjà été « atteinte ». Le parallèle avec la façon dont la loi de GoodhartPrincipe selon lequel une mesure perd sa valeur indicative dès qu'elle devient un objectif politique, la rendant inutile pour évaluer les politiques publiques. déforme les benchmarks des LLM est direct : les modèles qui reconnaissent le motif d’un test peuvent « compléter » la réponse sans traiter réellement l’intégralité du problème.

Comme nous l’avons soutenu ailleurs, le cadre le plus juste pour les capacités actuelles de l’IA est celui du « gifted toddler » (enfant surdoué en bas âge) : extraordinairement capable dans certaines dimensions, étonnamment limité dans d’autres, et les limites concernent presque toujours l’écart entre la reconnaissance de motifs et l’analyse véritable. Le problème de « strawberry » est l’illustration la plus limpide de cet écart.

Le correctif, à terme, impliquera probablement des changements architecturaux : tokenisationProcessus de découpage du texte en unités (tokens) qu'un modèle de langage peut traiter, souvent des fragments de sous-mots plutôt que des caractères ou des mots entiers. au niveau des caractères, circuits de comptage explicites, ou systèmes hybrides capables de basculer entre reconnaissance de motifs et traitement déterministe. En attendant, le modèle continuera à compléter « strawberry » correctement tout en en comptant mal les lettres, parce que ces deux opérations n’ont jamais été la même opération.