Le problème carte-territoire : tout système d’information est une compression avec pertes

Opinion.

Alfred Korzybski l’a dit en 1931 : la carte n’est pas le territoire. Près d’un siècle plus tard, nous avons construit des cartes à l’échelle de civilisations entières et perdu la capacité de voir le territoire qu’elles recouvrent. Chaque système d’information avec lequel vous interagissez, d’un article Wikipedia à une prévision de PIB en passant par le mot « gluten », est une compression avec perteMéthode de réduction de la taille des données qui élimine définitivement certaines informations, jugées non essentielles pour l'usage prévu. À distinguer de la compression sans perte qui préserve l'original à l'identique. de quelque chose de plus complexe que ne le suggère l’étiquette. Le problème carte-territoire n’est plus une curiosité philosophique. C’est le mode de défaillance central de notre manière de traiter l’information.

La compression avec perte n’est pas un défaut

Tous les modèles compriment. Ce n’est pas une critique, c’est une définition. Un modèle statistique prend un millier de variables et les réduit à un coefficient. Un réseau de neurones prend un milliard de paramètres et réduit le langage humain à des distributions de probabilité sur des tokens. Un article Wikipedia prend des décennies de recherche et les condense en quelques milliers de mots parsemés de liens bleus. Le langage lui-même prend le désordre continu et enchevêtré de la réalité et le découpe en catégories discrètes aux frontières bien nettes.

La compression est utile. On ne peut pas naviguer dans une ville avec une carte à l’échelle 1:1. Le problème commence quand la compression devient invisible, quand l’écart carte-territoire disparaît de la conscience et que le modèle commence à ressembler à la chose qu’il représente.

La confiance de l’IA : quand les chiffres donnent l’impression de certitude

Un classifieur d’apprentissage automatique vous indique une probabilité de 0,97 qu’une image contienne un chat. Ce chiffre donne l’impression d’une quasi-certitude. Ce n’en est pas une. C’est une mesure de la correspondance entre les schémasCadres mentaux de représentations compressées et d'attentes que le cerveau utilise pour encoder, stocker et récupérer les informations. Lorsque vous vous souvenez de quelque chose, votre cerveau la reconstruit en utilisant des schémas plus tous les indices contextuels présents. appris par le modèle et les données d’entrée, calculée par rapport à la distribution d’entraînement. Il ne vous dit rien sur le fait que le modèle ait déjà rencontré quoi que ce soit de semblable à cette image particulière. Il ne vous dit rien sur ce qu’il ferait face à une perturbation adversariale invisible à l’œil nu. Le 0,97 est un artefact carte-territoire : un chiffre qui ressemble à de la confiance mais qui mesure quelque chose de bien plus étroit que ce que nous entendons intuitivement par « confiant ».

Cela compte parce que les systèmes construits sur ces scores prennent de vraies décisions. Les modèles de notation de crédit produisent un chiffre, et ce chiffre détermine si quelqu’un obtient un prêt immobilier. Les modèles de récidive produisent une probabilité, et cette probabilité influence les peines prononcées. Les personnes en aval de ces systèmes traitent le résultat comme une mesure de la réalité. Ce n’en est pas une. C’est une mesure de l’état interne du modèle, qui est lui-même une compression avec perte d’un jeu de données d’entraînement, qui est lui-même une compression avec perte du monde. Chaque couche de compression introduit une distorsion que le chiffre final ne peut pas exprimer.

Les recherches sur la calibrationL'alignement entre l'auto-évaluation et les performances ou connaissances réelles. Une personne bien calibrée estime correctement ses propres capacités ; une mal calibrée les surestime ou les sous-estime. de Guo et al. (2017) ont démontré que les réseaux de neurones modernes, malgré leur précision, sont mal calibrés, ce qui signifie que leurs scores de confiance ne correspondent pas de manière fiable aux probabilités réelles de correction. Un modèle qui affiche 0,97 pourrait n’avoir raison que 85 % du temps à ce niveau de confiance. La distinction carte-territoire ici n’est pas abstraite. C’est l’écart entre ce que le chiffre dit et ce que le chiffre signifie.

Wikipedia : quand les résumés donnent l’impression de vérité

Wikipedia est l’un des projets collaboratifs de connaissance les plus impressionnants de l’histoire. C’est aussi, par conception, un moteur de compression. Chaque décision éditoriale sur ce qu’il faut inclure, ce qu’il faut omettre, quelle formulation utiliser et quelles sources privilégier est une opération avec perte. Le résultat est un article qui se lit avec l’autorité d’une entrée d’encyclopédie tout en reflétant nécessairement les biais, la disponibilité et les intérêts éditoriaux de ses contributeurs.

La confusion carte-territoire avec Wikipedia opère à un niveau précis : les gens le traitent comme une source primaire alors que c’est, au mieux, une synthèse secondaire. Un article Wikipedia sur un événement historique ne vous dit pas ce qui s’est passé ; il vous dit ce que le processus éditorial de Wikipedia a produit, étant donné les sources trouvées par ses éditeurs, pondérées par l’énergie et la persévérance de ceux qui se sont donné la peine de modifier la page. Sur les sujets controversés, l’article ne reflète pas l’état des connaissances mais le résultat de guerres d’édition.

Cela compte parce que Wikipedia est devenu la couche de connaissance de fond de facto d’internet. Les grands modèles de langage s’entraînent dessus. Les panneaux de connaissances de Google s’en nourrissent. Les étudiants le citent (ou citent ses sources, ce qui revient à la même dépendance). Quand un article Wikipedia contient une erreur ou un choix éditorial idiosyncrasique, cette distorsion se propage à travers chaque système qui traite Wikipedia comme vérité de référence. La carte ne se contente pas de ne pas correspondre au territoire ; elle remodèle activement la perception que les gens ont du territoire. Comme notre analyse de la façon dont les cadres de pensée filtrent la perception l’a exploré, la lentille devient le paysage.

Les modèles économiques : quand les projections donnent l’impression de prédictions

Les banques centrales publient des prévisions de croissance du PIB. Les marchés y réagissent comme s’il s’agissait de prédictions. Ce ne sont pas des prédictions. Ce sont les résultats de modèles qui supposent que certaines relations structurelles se maintiendront, que les corrélations historiques persisteront et que les variables non incluses dans le modèle se comporteront à peu près comme avant. Chaque modèle économique est, explicitement, une simplification qui vaut « toutes choses égales par ailleurs ». Or l’économie ne maintient jamais toutes choses égales par ailleurs.

Les projections du World Economic Outlook du Fonds monétaire international ont été étudiées pour leurs biais systématiques : elles sous-estiment constamment la gravité des récessions et surestiment la vitesse de reprise. Ce n’est pas parce que le FMI emploie de mauvais économistes. C’est parce que les modèles sont des compressions qui fonctionnent bien en conditions normales et échouent précisément quand on en a le plus besoin, lors de ruptures structurelles, d’événements extrêmes et de changements de régime. L’écart carte-territoire en économie est le plus large exactement quand les enjeux sont les plus élevés.

L’intervalle de confiance d’une prévision économique est lui-même une illusion carte-territoire. Il vous indique la plage de résultats que le modèle considère plausibles, étant donné ses hypothèses. Il ne peut pas rendre compte des scénarios que ses hypothèses excluent, qui sont, par définition, les scénarios qui surprennent tout le monde.

Les catégories linguistiques : quand les mots donnent l’impression de frontières naturelles

C’est peut-être l’instance la plus profonde du problème carte-territoire, parce que le langage est la carte avec laquelle nous pensons. Chaque nom trace une frontière. Chaque catégorie implique que les choses qu’elle contient partagent quelque chose d’essentiel que les choses à l’extérieur n’ont pas. Parfois c’est vrai. Souvent ça ne l’est pas.

Prenons le « gluten ». Le mot suggère une substance unique, et l’industrie alimentaire a bâti un empire sur son évitement. Mais le mécanisme réel de la maladie cœliaque implique les prolamines, une classe de protéines de réserve présentes sous des formes variées dans différentes céréales. Les prolamines du blé (gliadines) déclenchent des réactions cœliaques. Les prolamines du riz, en général, non. Les prolamines du quinoa occupent une zone d’incertitude réelle, certaines études suggérant une immunoréactivité potentielle chez un sous-groupe de patients cœliaques. Le mot « gluten » comprime cette diversité biochimique en une seule catégorie, puis « sans gluten » comprime la solution en une étiquette binaire. L’écart carte-territoire a ici des conséquences concrètes sur la santé : les gens évitent le blé et mangent du quinoa en supposant que l’étiquette binaire capture la biologie sous-jacente. L’étiquette est une compression avec perte d’une réalité immunologique complexe.

Le langage fait cela partout. « Dépression » couvre un spectre d’états neurologiques aux mécanismes différents et aux réponses thérapeutiques différentes. « Démocratie » couvre des systèmes aussi différents que la démocratie directe suisse et les élections dirigées russes. « IA » couvre tout, de la régression linéaire au grand modèle de langage. Chaque mot est une frontière tracée sur un paysage continu, et chaque frontière rend certaines questions faciles à poser et d’autres presque invisibles.

La discipline carte-territoire

L’idée de Korzybski n’était pas que les cartes sont mauvaises. C’était que confondre la carte avec le territoire est la source d’une classe d’erreurs spécifique et identifiable. La discipline qu’il proposait était simple dans son principe : maintenir la conscience de l’abstraction. Savoir que l’on utilise un modèle. Savoir ce qu’il comprime. Savoir où il risque d’échouer.

En pratique, cela signifie poser un ensemble de questions que la plupart des systèmes d’information ne sont pas conçus pour traiter. Quand une IA vous donne un score de confiance : confiance en quoi, exactement, calibrée par rapport à quelle distribution ? Quand Wikipedia vous dit quelque chose : quels éditeurs, à partir de quelles sources, avec quelles incitations éditoriales ? Quand un modèle économique projette de la croissance : sous quelles hypothèses, et que se passe-t-il quand ces hypothèses ne tiennent plus ? Quand un mot catégorise quelque chose : qu’est-ce que cette frontière inclut à tort, et qu’est-ce qu’elle exclut d’important ?

Ce ne sont pas des questions confortables. Elles rendent la prise de décision plus lente et plus incertaine. Mais l’alternative est de naviguer avec des cartes qui semblent faire autorité précisément parce qu’elles ont effacé les traces de leur propre compression. Ce n’est pas de l’efficacité. C’est le type de confiance qui se brise quand la réalité cesse de correspondre au modèle, ce qui, inévitablement, finit toujours par arriver.

Sources

• Korzybski, Alfred. “A Non-Aristotelian System and its Necessity for Rigour in Mathematics and Physics.” Science and Sanity, 1933. La formulation originale de la distinction carte-territoire en sémantique générale.
• Guo, Chuan, et al. “On Calibration of Modern Neural Networks.” Proceedings of the 34th International Conference on Machine Learning, 2017. Démontre que les réseaux de neurones profonds modernes sont mal calibrés malgré une haute précision.
• International Monetary Fund. “World Economic Outlook.” Publication récurrente. Voir les évaluations indépendantes de la précision des prévisions du FMI, notamment les rapports du Bureau indépendant d’évaluation du FMI sur le biais de prévision lors des crises.