On ne peut pas frapper l’entropie : pourquoi la pensée systémique bat les théories du complot

Opinion.

Stafford Beer, le cybernéticien britannique qui a passé sa carrière à étudier comment les organisations se comportent réellement (par opposition à ce que prétendent leurs déclarations de mission), a laissé derrière lui un rasoir suffisamment tranchant pour couper court à la plupart des arguments politiques en un seul coup : « Le but d’un système est ce qu’il fait. » (« The purpose of a system is what it does. ») Pas ce qu’il prétend faire. Pas ce pour quoi il a été conçu. Pas ce que la brochure promet. Ce qu’il fait. Beer a appelé cela POSIWID'The Purpose Of a System Is What It Does' (le but d'un système est ce qu'il fait). Principe de cybernétique formulé par Stafford Beer : le vrai but d'un système se mesure à ses résultats constants, non à ses intentions déclarées ni aux buts de ses concepteurs., et dans les décennies qui ont suivi, le principe est devenu l’une des idées les plus utiles et les plus résistées de la pensée systémique.

La résistance est compréhensible. POSIWID ressemble, pour la plupart des oreilles, à une théorie du complot. Si le système de santé américain produit des faillites médicales et de moins bons résultats sanitaires que des pays qui dépensent deux fois moins par habitant, alors POSIWID dit : c’est sa finalité. Si les plateformes de réseaux sociaux produisent de la radicalisation, de l’anxiété et de la polarisation politique, alors ces résultats sont ce à quoi sert le système. L’instinct est d’entendre cela et de conclure que quelqu’un, quelque part, l’a planifié ainsi. Qu’une cabale obscure de dirigeants d’assurances s’est assise dans une salle et a conçu un système pour ruiner les patients atteints de cancer. Que Mark Zuckerberg a spécifiquement voulu que des adolescentes développent des troubles alimentaires.

La véritable leçon de la pensée systémique est à la fois plus simple et plus troublante : personne ne l’a planifié. Le système fonctionne simplement ainsi.

Ce que POSIWID dit réellement

Beer a développé POSIWID dans le domaine de la cybernétique, l’étude de la façon dont les systèmes se régulent par des boucles de rétroaction. L’observation fondamentale est que les systèmes complexes développent des comportements émergents qu’aucun participant individuel n’a conçus, voulus, ni même nécessairement compris. La finalité déclarée d’un système (soigner les malades, éduquer les enfants, connecter les gens) est sans importance si le système produit systématiquement des résultats différents. Les résultats sont la finalité, parce que le système est optimisé, par l’itération, les structures d’incitation et la dépendance au sentier, pour produire exactement ces résultats.

Ce n’est pas une métaphore. Quand Beer dit que le but d’un système est ce qu’il fait, il le dit littéralement. Un système qui fonctionne depuis des décennies et qui produit systématiquement les mêmes résultats est, selon toute définition fonctionnelle, un système conçu pour produire ces résultats. Le fait qu’aucun être humain ne se soit assis pour rédiger ces spécifications est sans importance. L’évolution n’a pas de concepteur non plus, mais personne ne prétend que les guépards sont rapides par accident.

La pensée systémique à ce niveau exige d’abandonner la fiction confortable selon laquelle les intentions comptent plus que les résultats. Dans le raisonnement moral quotidien, les intentions ont un poids énorme. Nous distinguons le meurtre de l’homicide involontaireCharge pénale pour avoir causé la mort par une conduite imprudente ou gravement négligente, sans aucune intention de tuer — juridiquement distinct du meurtre, qui exige l'intention de causer un préjudice ou la mort.. Nous pardonnons les erreurs commises de bonne foi. Mais les systèmes ne sont pas des personnes, et appliquer un raisonnement moral conçu pour les individus au comportement institutionnel produit une analyse confuse. Un administrateur hospitalier qui veut sincèrement aider les patients mais qui dirige un système optimisé pour les codes de facturation plutôt que les temps de guérison n’est pas un méchant. C’est un composant dans une machine dont il ne contrôle pas la production.

La tentation du complot

C’est là que POSIWID se heurte à la psychologie humaine. Face à un système qui produit des résultats terribles, le cerveau propose deux explications. Option un : quelqu’un de puissant fait cela exprès. Option deux : personne n’est aux commandes et le système a émergé du poids accumulé de milliers de décisions individuelles, dont aucune n’était individuellement malveillante, dont la plupart étaient localement rationnelles, et qui toutes ensemble produisent quelque chose que personne n’aurait choisi.

L’option un est psychologiquement satisfaisante. Elle préserve l’idée que le monde est ordonné, que les résultats sont le fruit de décisions, et que résoudre le problème est (conceptuellement, du moins) simple : trouver les méchants et les supprimer. L’option deux est véritablement effrayante. Elle implique que le monde est largement incontrôlé, que des résultats catastrophiques peuvent émerger de comportements parfaitement normaux, et que corriger les choses exige de reconcevoir des structures d’incitation entières plutôt que de punir des individus spécifiques.

La plupart des gens choisissent l’option un. Non pas parce qu’ils sont stupides. C’est parce que la détection d’agentivité, la tendance à attribuer les événements à des acteurs intentionnels, est l’une des caractéristiques les plus profondément câblées du cerveau humain. Il était adaptatif de supposer que le bruissement dans les buissons était un prédateur plutôt que le vent. Il est inadapté de supposer que le système de santé a été conçu par des prédateurs plutôt que par le vent.

Les théories du complot sont, dans ce cadre, une carte simplifiée plaquée sur un territoire complexe. Elles prennent les résultats véritablement observables d’un système (les gens font faillite à cause des factures médicales, les réseaux sociaux rendent les gens malheureux, le système éducatif produit des diplômés incapables de penser de manière critique) et les attribuent à une conception délibérée par des méchants identifiables. La carte semble juste parce que les résultats sont réels. L’erreur réside dans l’attribution de l’agentivité.

Le rasoir de Hanlon et ses limites

POSIWID a un cousin bien connu dans le rasoir de Hanlon : « N’attribuez jamais à la malveillance ce qui s’explique adéquatement par la stupidité. » (« Never attribute to malice that which is adequately explained by stupidity. ») Les deux principes se ressemblent mais diffèrent sur un point important. Le rasoir de Hanlon concerne le comportement individuel, une heuristique pour interpréter pourquoi votre collègue a envoyé cet e-mail ou pourquoi le bureaucrate a rejeté votre demande. Il suppose un seul acteur prenant une seule mauvaise décision. POSIWID opère à un niveau supérieur. Il ne dit pas que les individus dans le système sont stupides (bien que certains le soient certainement). Il dit que le système lui-même, en tant qu’entité émergente, produit des résultats qu’aucun de ses composants individuels n’a choisis.

Cette distinction compte parce qu’elle change l’endroit où vous cherchez des solutions. Le rasoir de Hanlon suggère une meilleure formation, un meilleur recrutement, des processus plus clairs. POSIWID suggère que rien de tout cela n’aura d’importance si la structure d’incitation reste inchangée. Vous pouvez remplacer chaque employé d’un hôpital par un expert brillant et compatissant, et si le modèle de paiement récompense toujours les procédures plutôt que les résultats, le système optimisera toujours les procédures plutôt que les résultats. Le but du système est ce qu’il fait. Nouvelles personnes, même machine, même production.

C’est aussi là que la pensée systémique se sépare du cynisme. Un cynique dit « le système est cassé ». Un penseur systémique dit « le système fonctionne parfaitement ; simplement, vous n’aimez pas ce vers quoi il travaille ». Ce n’est pas la même affirmation. La première implique un dysfonctionnement. La seconde implique un fonctionnement dirigé vers autre chose que l’objectif déclaré. La distinction est cruciale car on corrige un dysfonctionnement par des réparations, mais on corrige un fonctionnement mal orienté par une reconception. Et la reconception est d’ordres de grandeur plus difficile.

Trois systèmes, trois finalités inavouées

Prenons le système de santé américain. La finalité déclarée : garder les gens en bonne santé. Le comportement observé : les États-Unis dépensent environ 4 500 milliards de dollars par an en soins de santé (environ 17,6 % du PIB, selon les Centers for Medicare and Medicaid Services) tout en se classant derniers parmi les nations comparables en termes de résultats sanitaires, selon les comparaisons internationales récurrentes du Commonwealth Fund. Le système produit de manière fiable des traitements coûteux, une facturation complexe, une médecine défensive et des frais administratifs. Ce sont ses produits. Selon POSIWID, ce sont ses finalités.

Prenons l’éducation publique. La finalité déclarée : développer la pensée critique, transmettre le savoir, préparer les citoyens. Le comportement observé : des régimes de tests standardisés qui incitent à enseigner en vue du test, des systèmes de certification qui récompensent la conformité plutôt que la curiosité, et une structure qui trie les enfants par âge plutôt que par capacité ou intérêt. Le système produit de manière fiable des individus capables de suivre des instructions et de cocher des cases. Selon POSIWID, c’est sa finalité. Ce n’est pas un complot des syndicats d’enseignants ou des éditeurs de manuels. C’est ce qui se passe quand on construit un système pour faire passer des millions d’enfants dans un pipeline standardisé et qu’on mesure son succès avec des métriques standardisées.

Prenons les réseaux sociaux. La finalité déclarée : connecter les gens. Le comportement observé : un classement algorithmique du contenu qui maximise l’engagement, ce qui en pratique signifie maximiser l’excitation émotionnelle, ce qui en pratique signifie amplifier l’indignation, la peur et les conflits tribaux. La propre recherche interne de Meta, divulguée en 2021 par Frances Haugen, a confirmé que l’entreprise savait qu’Instagram était nocif pour la santé mentale des adolescents et que son algorithme amplifiait les contenus clivants. Les ingénieurs qui ont construit le système de recommandation n’essayaient pas de radicaliser qui que ce soit. Ils essayaient de garder les gens sur la plateforme. La radicalisation est une propriété émergente, pas une spécification de conception. Mais selon POSIWID, c’est la finalité.

Pourquoi on ne peut pas frapper l’entropie

Le problème le plus profond de la pensée systémique, et la raison pour laquelle la plupart des gens préfèrent les théories du complot, est qu’elle n’offre pas de méchant satisfaisant. On ne peut pas manifester contre l’entropie. On ne peut pas voter pour évincer la dépendance au sentier. On ne peut pas intenter un procès au comportement émergentComportement qui apparaît dans un système complexe sans avoir été conçu dans aucun de ses composants individuels. L'ensemble produit des résultats qu'aucune partie n'a intentionnellement générés — l'évolution, les embouteillages et les crises financières en sont des exemples.. Les outils de l’action politique que les humains ont développés au fil des millénaires (manifestation, révolution, changement de régime, élections) sont tous conçus pour remplacer un ensemble de décideurs par un autre. Ils supposent que le problème est de savoir qui dirige le système. La pensée systémique dit que le problème est le système lui-même, et que remplacer les personnes à l’intérieur ne changera pas ses productions fondamentales.

C’est psychologiquement insupportable pour la plupart des gens, et on peut le comprendre. Cela ressemble à de l’impuissance apprise. Si le système est le problème et que le système est trop complexe pour qu’un individu le reconçoive, alors que faire exactement ? Beer lui-même a travaillé sur cette question pendant des décennies, notamment lors de son Projet Cybersyn dans le Chili de Salvador Allende, une tentative d’utiliser la rétroaction cybernétique en temps réel pour gérer l’ensemble d’une économie nationale. Le projet a été détruit par le coup d’État de 1973 avant de pouvoir être pleinement testé, ce qui constitue soit une tragédie pour la pensée systémique, soit une excuse commode, selon votre niveau d’optimisme.

La réponse honnête de la pensée systémique est que la réforme est possible mais lente, peu glorieuse et structurellement orientée. Cela signifie changer les structures d’incitation plutôt que de licencier des dirigeants. Cela signifie reconcevoir les boucles de rétroaction plutôt qu’écrire des lettres de protestation. Cela signifie accepter que le système qu’on essaie de réparer n’est pas cassé ; il fait exactement ce que sa structure dicte, et si l’on veut des résultats différents, il faut des structures différentes. C’est plus difficile que d’identifier un méchant. C’est aussi la seule approche qui ait jamais réellement fonctionné. Chaque réforme systémique réussie dans l’histoire, de l’abolition du travail des enfants à l’établissement des normes de sécurité alimentaire, a réussi non pas en punissant les mauvais acteurs, mais en changeant les règles sous lesquelles tous les acteurs opèrent.

Pourquoi la pensée systémique ne satisfait aucun camp

POSIWID occupe une position inconfortable dans le discours politique. La gauche l’entend et conclut que le système a été conçu par les capitalistes. La droite l’entend et conclut que le système a été conçu par les bureaucrates. Les deux camps commettent la même erreur : attribuer les résultats systémiques émergents à une conception intentionnelle par leurs méchants préférés. La position réelle de la pensée systémique, selon laquelle les systèmes complexes produisent des résultats que personne n’a conçus et que personne ne contrôle pleinement, ne satisfait aucun camp politique car elle n’offre personne à blâmer.

C’est, paradoxalement, ce qui la rend utile. Un cadre conceptuel qui met tout le monde mal à l’aise touche probablement à quelque chose de réel. Les théories du complot sont confortables parce qu’elles préservent l’illusion de l’ordre : quelqu’un est aux commandes, même si ce quelqu’un est malfaisant. La pensée systémique supprime ce confort. Personne n’est aux commandes. Les résultats que vous observez sont le produit de milliers d’incitations interagissantes, de dépendances au sentier, de boucles de rétroaction et d’accidents historiques. Le système n’est pas cassé. Le système est la cassure.

Stafford Beer est mort en 2002, avant les réseaux sociaux, avant le plein essor de la curation algorithmique du contenu, avant que le système de santé américain n’atteigne 4 000 milliards de dollars de dépenses annuelles. Mais son rasoir n’a fait que s’affûter. Le but d’un système est ce qu’il fait. Si vous n’aimez pas ce qu’il fait, vous avez deux choix : reconcevoir le système, ou vous raconter une histoire sur les méchants qui le dirigent. L’une de ces options pourrait réellement changer quelque chose. L’autre est plus amusante lors des dîners.

Sources

• Centers for Medicare and Medicaid Services, National Health Expenditure Data (Historical)
• Commonwealth Fund, « Mirror, Mirror 2024: A Portrait of the Failing U.S. Health System »
• Wall Street Journal, « Facebook Knows Instagram Is Toxic for Teen Girls, Company Documents Show » (2021)
• Eden Medina, « Cybernetic Revolutionaries: Technology and Politics in Allende’s Chile » (MIT Press, 2011)