- La Cité
Absolument. On a joué autour de cet aspect littéraire. La volonté qui nous anime lors de l’écriture de cet ouvrage c’est de déconstruire l’ensemble des mythes qui existent autour des algorithmes. Il s’agissait de démystifier. C’est le rôle d’un chercheur, de celui qui veut s’inscrire dans un cadre de débat sérieux et sain. Et finalement on s’est rendu compte que les nouveaux oracles représentaient en réalité la crainte de ceux qui les rejettent de voir se former des “boules de cristal” prédictives. On a cherché à descendre d’un cran, à dégonfler cette bulle qui entoure l’IA pour regarder la réalité des systèmes qui y sont liés et leurs effets concrets.
Tout à fait. Les algorithmes prédictifs réveillent un vieux projet qui relève à la fois des sciences sociales et des sciences physiques qui est celui de la prédiction. Dans le livre nous parlons notamment de l’école de sociologie de Chicago et qui est l’exemple même de ce rêve. Leur approche des comportements humains passe par une quantification de ces derniers afin de mieux les prévoir. Les algorithmes prédictifs réactivent cette idée en exploitant la formidable opportunité que constitue le big data et la disponibilité des données massives. Or la question aujourd’hui est de savoir si le big data introduit un changement de degré ou un changement de rupture par rapport à ce projet de prédiction. A l’heure actuelle, étant donné les limites mentionnées plus haut, on peut dire qu’il y a uniquement un changement de degré dans le sens où les imperfections sont encore trop grandes pour parler de véritable rupture. On est très loin d’une prédiction parfaite et heureusement. Cela permet de préserver le libre arbitre du citoyen. Adolphe Quetelet au XIXe siècle avait déjà ce projet de quantifier les comportements humains.
Exactement. Aujourd’hui, on survend les capacités des algorithmes prédictifs. Les études publiées dans la revue Science notamment montrent qu’en réalité des modèles statistiques simples font aussi bien que les modèles prédictifs considérés comme complexes. L’exemple le plus patent de cela c’est une étude publiée en 2018 dans Science advances a décortiqué le fameux logiciel Compas utilisé dans de nombreuses juridictions américaines afin de prédire le risque de récidive de détenus et de non-comparution. En réalité, la société privée qui commercialise ce logiciel met en avant les capacités de ce dernier à analyser 137 facteurs. Mais dans les faits, l’étude de Science montre qu’un simple modèle d’analyse de 2 facteurs atteint le même niveau de précision que Compas. Ces algorithmes n’échappent donc pas à la règle de Pareto : l’essentiel de la performance prédictive relève en réalité de modèles statistiques très simples, notamment de régression, qui existaient bien avant l’avènement de l’IA. Voilà la première limite technique.
La deuxième limite est celle des potentiels biais qui peuvent affecter ces algorithmes. C’est en effet la base de données renseignée qui va alimenter les prédictions. C’est ce que résume la formule “Garbage in garbage out”. Aujourd’hui, quand ces logiciels sont vendus par des sociétés privées, rien ne garantit les conditions éthiques des bases de données qui sont exploitées.
Le logiciel dont il est question est celui qu’on appelle généralement PredPol. On ne peut pas dire que PredPol introduit des biais, en revanche il s’en nourrit à travers la base de données qui l’alimente. Ce qui signifie qu’à l’origine des données enregistrées il y a une action de police qui est biaisée ou bien une façon de récolter les statistiques de la délinquance qui l’est. En construisant un algorithme basé sur ces éléments de données on aboutit à une situation qui est discriminatoire. C’est une critique émise notamment par la chercheuse Cathy O’Neil dans son ouvrage Weapons of math destruction. Elle montre qu’avec la construction d’un algorithme sur des données biaisées, le risque n’est pas seulement de reproduire le biais mais bien de le répliquer à grande échelle. C’est ce qu’on constate aux Etats-Unis, notamment du fait de la ségrégation socio-spatiale qui existe dans ce pays.
PredPol n’a en revanche pas été interdit. Ce sont certaines villes qui ont décidé (notamment Los Angeles) de rompre leur contrat avec la société privée qui le commercialise. La question de savoir comment on évite l’apparition de tels biais est très compliquée. Cela nécessite de mettre en place un filet de sécurité tout au long du développement de l’algorithme : dès l’enregistrement des données. C’est ce que montre Aurélie Jean
(1)
, qui rappelle deux moyens de répondre à cette situation : toujours accompagner l’algorithme d’une expertise humaine (“human in the loop”), promue par Sara Hooker ; mettre en place un système d’autoévaluation tout au long de l’utilisation et du développement, voire dès le codage de l’algorithme, permettant d’identifier le plus tôt possible les biais.
C’est effectivement une des questions de fond que pose l’utilisation de statistiques dans le cadre de la justice. Il y a un paradoxe : au début du XXe siècle, l’approche quantitative a été mise en oeuvre afin d’éclairer les décisions de justice et l’un des motifs donnés était justement de mieux connaître le criminel. Les statistiques pouvaient venir éclairer le cas individuel. D’ailleurs c’est ce que font les assurances dans la logique actuarielle. Paradoxalement, une fois qu’on utilise ces statistiques afin d’éclairer un cas d’espèce, on a l’impression que cette pratique contrevient au principe fondamental d’individualisation de la peine. Ce qui est vrai dans une certaine mesure. On a l’écueil possible de faire tomber chaque cas individuel dans la règle statistique. D’un autre côté, cette dernière peut éclairer des cas individuels.
Il y a néanmoins une limite de fond que présenteront toujours les outils statistiques : c’est ce qu’on appelle la critique de la jambe cassée. Dans les années 1960, un chercheur américain qui s’appelle Paul Meehl nous dit que si on utilise une règle mécanique (par exemple : tous les mardis tel individu se rend au cinéma), celle-ci peut se révéler vraie la plupart du temps ; mais si un jour l’individu en question se casse une jambe et ne peut pas aller au cinéma, la règle devient fausse. En d’autres termes, la règle statistique est statique, elle ne peut pas s’adapter au cas d’espèce. L’humain à l’inverse sera moins régulier que la règle statistique mais il peut s’adapter aux particularités lorsqu’elles se produisent. L’enjeu est donc de trouver le bon équilibre: avoir d’un côté la consistance de la règle statistique et de l’autre la capacité d’adaptation de l’être humain. Et donc dans le cas de la justice d’arriver à individualiser le cas que l’on traite.
Je cite cette collègue de droit privé à l’université de Lorraine qui nous dit “de la recommandation algorithmique à la justice algorithmique il n’y a qu’un pas qu’il est difficile de ne pas franchir dès lors que l’autorité de l’algorithme est difficilement contestable” (Florence G’Shell). La précision et la performance de ces algorithmes vont aller de manière croissante au cours de l’histoire et cela pose la question de la place de l’expertise humaine. Dans l’exemple que l’on prend il y a une complémentarité dans la mesure où l’algorithme est utilisé comme un outil d’aide à la décision. Mais la décision in fine est humaine. Si la plus value de l’appréciation humaine n’est plus significative cela veut dire qu’on se dirige vers une justice actuarielle. C’est-à-dire une justice dans laquelle, pour certains litiges, il n’y a plus d’intervention humaine. C’est l’ombre qui plane sur le futur de la justice.
Oui cela va dans le sens d’une déjudiciarisation. C’est précisément la consécration du principe “Minority Report”. C’est-à-dire le principe qui consiste à agir le plus en amont possible à partir d’une prédiction. Si je suis justiciable et que je veux intenter une action en justice, je sais, avec un intervalle de confiance précis, quelles sont mes chances d’échouer dans cette tentative. Je suis donc totalement désinciter à aller devant un tribunal.
Néanmoins on est encore au début de cette tendance. Les services proposés par les Legaltechs concernant la justice prédictive ont les mêmes défauts que ceux mentionnés plus haut pour les algorithmes. Ils sont aussi soumis à l’effet de Pareto.
Le salon Milipol est un bon exemple de ce qui se fait en termes d’Intelligence Artificielle mais également de marketing autour de l’IA. Ce sont des entreprises privées qui présentent leurs solutions de la façon la plus avantageuse possible. Dans notre ouvrage, nous avons analysé système par système et logiciel par logiciel le niveau d’efficacité. Ce qu’on nous présente à Milipol doit encore faire l’objet de nombreux tests.
Il y a effectivement une demande de sécurité forte et un sentiment d’insécurité prégnant. On voit l’influence du continuum de sécurité : c’est-à-dire de l’imbrication entre les différentes mesures de prévention et de correction des délits et des crimes. Cela pose la question de la proportionnalité des outils que l’on doit utiliser en fonction du spectre où on se situe (petite délinquance ou attaque terroriste).
Il n’y a en revanche pas de toute puissance du renseignement technique dans la mesure où le renseignement humain continue d’être une source d’informations de grande qualité et qui présente une complémentarité. On observe une tendance à l’augmentation des budgets des agences de renseignement qui permet de ne pas démunir les services de leurs compétences traditionnelles.
Le compromis efficacité-liberté c’est l’enjeu essentiel quand on essaye de mettre en perspective la question technologique dans le champ des libertés. Cet équilibre, c’est ce qu’on essaye d’expliquer dans le livre, il est difficile à trouver pour l’exécutif et le législateur, car ce n’est pas une question technique mais éminemment politique, un choix de société. L’épisode Covid a montré à quel point ces choix sont politiques : les pays du monde entier ont fait des choix différents, ceux de la France sont d’ailleurs révélateurs de son histoire. En matière de sécurité, il y a deux erreurs qu’on souhaite minimiser, que ce soit dans le cadre de la sécurité intérieure ou les attentats :
Ces deux erreurs ont des conséquences différentes. Des faux positifs, c’est un danger pour les libertés individuelles, les faux négatifs, c’est un danger pour la sécurité publique. La question c’est où on met le curseur, quelles erreurs on souhaite minimiser. Voltaire disait “mieux vaut se hasarder à libérer un coupable que condamner un innocent”. La technologie peut potentiellement nous permettre d’échapper à ce compromis et à cette idée que si on améliore l’efficacité c’est au détriment des libertés. L’exemple qu’on donne, même si il n’est pas parfait, est celui de la 1ère version de stop covid (devenue tous anti-covid). Le projet était d’avoir ce système bluetooth permettant de détecter les chaînes de contamination pour enrayer la vague épidémique. Cet outil respectait les législations RGPD et il pouvait apporter toutes les garanties en termes de respect des données individuelles. L’efficacité de stop covid a été limitée par le faible nombre de Français qui l’ont téléchargé et mis en œuvre. Si les citoyens français avaient fortement utilisé cet outil, il n’aurait pas présenté de risques pour les libertés et aurait contribué à enrayer l’épidémie. C’est le message de Peter Thiel, bien que figure controversée aux Etats-Unis : il est possible de concilier avec la technologie respect des libertés et efficacité. Pour converger vers des solutions qui satisfont ces deux conditions il faut expérimenter.
La distinction qu’il importe de mettre en œuvre c’est de considérer que ce ne sont ni les algorithmes ni les nouvelles technologies qui permettront de sortir du compromis de l’efficacité, mais ce qu’Aurélie Jean appelle la “pratique algorithmique”. Il ne faut pas penser que la technologie va nous sauver, mais sélectionner les bons algorithmes, au service d’un objectif fixé de manière commune avec un accord politique fort, assorti de l’encadrement juridique nécessaire et des contrôles a posteriori nécessaires. D’où l’importance d’associer la population civile pour trouver cet équilibre : ce n’est pas un sujet de chercheurs ni de technocrates, cela ne se décide pas dans un cabinet ministériel, c’est un contrat social 2.0 pour atteindre les buts politiquement visés, pour le faire de la manière la plus sécurisée possible et limiter les risques.
Des blocs se constituent et effectivement l’Europe pèse peu géopolitiquement sur ces sujets. C’est un problème, qui fait qu’on ne protège pas nos libertés. On s’interdit l’utilisation de certaines technologies, ce qui mène à ne pas développer d’outils souverains et une fois que l’urgence apparaît on finit par utiliser les outils des autres, qui sont déjà efficaces. Comme lors des attentats de 2015 et l’utilisation de Palantir pour l’analyse des métadonnées du renseignement intérieur ; ce qui est regrettable quand on sait que cela a été financé par le fonds capital risque de la CIA. A noter que l’Union européenne ou la France d’ailleurs ont une capacité, on a un gigantesque marché, des capacités importantes en termes de formation et capital humain, il n’y a pas de raison pour lesquelles on échouerait pourvu qu’on s’y mette tôt et qu’on ne bride pas l’innovation. Alors comment faire ?
Il y a la question du financement. En France un fonds, Definvest, a été créé en 2017 réunissant la BPI et le Ministère des Armées, similaire à ce que font les Américains, pour investir très tôt dans les pépites de la tech, tout en étant conscient que cela serait plus efficace de le faire au niveau européen, mais quand c’est un sujet souverain, cela reste encore difficile de le traiter à cette échelle. La France pourra peut-être profiter de la présidence de l’Union européenne pour mettre ces sujets sur la table. L’UE doit assumer son ambition d’Europe puissance. Elle a aussi un avantage comparatif fort sur le soft power normatif, sur la régulation : c‘est ce qu’on a vu avec le RGPD. On pensait que cela allait contraindre les entreprises européennes, mais c’est faux. Cela a permis d’encadrer les données, les libertés des citoyens, cela n’a pas bridé l’innovation ni bloqué les entreprises européennes. Cela a même été répliqué en Californie avec le CCPA. Dans ce cadre-là, que peut faire l’Union Européenne pour réguler sans obérer l’innovation ? La Commission européenne a identifié les algorithmes présentant un risque inacceptable, comme l’utilisation de la reconnaissance faciale à des fins de notation sociale. Pour le reste des algorithmes dans le domaine de la sécurité elle estime qu’il existe un risque élevé, dont l’utilisation doit être soumise à des conditions restrictives, afin de trouver un équilibre, comme la présence de systèmes d’évaluation et d’atténuation des risques, la qualité des bases de données utilisées, la traçabilité des résultats, l’information des gens que cela vise, un contrôle humain approprié pour réduire les risques. La Commission souhaite encadrer, contrôler, réguler mais pas brider l’innovation.
Pour un compromis efficacité-liberté il faut connaître l’efficacité. Pour cela il faut expérimenter et encadrer en proportionnant cela aux fins poursuivies afin de ne pas nous trouver vassalisés par des puissances étrangères plus avancées.
Absolument, on trouve qu’il y a une continuité entre la position que l’on développe dans le livre qui appelle à une vision pragmatique sur ces sujets-là, rigoureuse pour autant et celle de la Commission. Cela rejoint aussi un rapport remis en septembre par le député Jean-Michel Mis qui présente aussi cette vision du compromis efficacité-liberté qui est pragmatique tout en sachant que lorsqu’on souhaite légaliser un système il faut toujours créer des contrôles nouveaux, plus sérieux, ambitieux. On retrouve un équilibre déjà ébauché par la loi antiterroriste du 24 juillet 2015 qui encadre les pratiques d’analyse des métadonnées par les services de renseignement. Le fait d’encadrer des pratiques déjà existantes, cela évite de laisser un vide juridique. On crée également un organe permettant de contrôler les techniques de renseignement, la CNCTR donc on arrive à préserver le secret défense, contrôler l’action des services de renseignement et les encadrer par le droit.
Il est vrai qu’il existe des effets de cliquet, quand on les met en œuvre on a du mal à revenir dessus, quand on abandonne une liberté c’est rare de la retrouver, à quelques exceptions près qui sont celles des systèmes peu efficaces. Par exemple pour PredPol, ce logiciel, bien qu’il continue à être utilisé et rentable pour certaines villes américaines, a été tué par deux facteurs à Los Angeles. D’abord, le facteur des biais raciaux que la recherche a largement couvert et qui a subi une pression politique suffisante pour l’interdire. Le deuxième facteur est un audit de mars 2019 de l’inspecteur général du LAPD qui n’arrive pas à conclure à l’efficacité du logiciel. A partir de ce moment-là, le concept efficacité-liberté est compromis : c’est une décision pragmatique prise par la ville de Los Angeles d’arrêter d’utiliser ce logiciel. On a eu aussi ce retour en arrière dans l’Oise ou la police utilisait aussi PredPol qui a été remplacé par Paved un simple logiciel de gestion, de cartes de chaleur, de représentation du crime plutôt qu’un logiciel d’intelligence artificielle prédictive. Il y a donc eu quelques retours en arrière.
Pour le renseignement, les effets de cliquet sont toutefois encore importants, car il est difficile d’évaluer l’efficacité de ces systèmes. D’où l’utilité d’avoir des inspections qui sont très fortes, soit la CNCTR (Commission nationale de contrôle des techniques de renseignement) soit en France l’ISR (Inspection des services de renseignement) qui sert à cela également. Mais il n’y a pas suffisamment de contrôles parlementaires. Il existe la Délégation parlementaire au renseignement (DPR). Mais elle est limitée. Par rapport aux Etats-Unis, il y a certains pouvoirs qu’elle ne possède pas. Par exemple, elle n’a pas accès aux rapports des inspections. La DPR peut auditionner des responsables des services de renseignement mais uniquement des responsables. Mais entre ce que déclarent le directeur des services informatiques, le directeur d’une administration centrale, le directeur du renseignement, et ce que déclare l’agent dans la réalité de son quotidien il peut y avoir des différences. Le Senate Select Committee on Intelligence au Sénat américain possède ce pouvoir d’enquête et d’audition qui est total. C’est un contrôle parlementaire fort. En comparaison, la DPR demeure modeste. C’est aussi lié à sa naissance, elle a une dizaine d’années, aux Etats-Unis elle existe depuis le Watergate.
On touche ici à l’essence même des algorithmes. Effectivement, le juriste n’a pas de prise sur le fonctionnement concret des algorithmes, ni sur leur évaluation. Il faut différencier techniquement les algorithmes explicites et implicites. Quand l’algorithme est explicite, il suffit de regarder l’arbre de décision, demander à l’ingénieur, c’est assez simple à réguler. Mais les algorithmes fonctionnent de plus en plus avec du deep learning ou du machine learning. C’est plus complexe car on ne sait pas quel raisonnement l’algorithme a utilisé, à partir de la base de données, pour arriver à une solution. Comment encadrer par le droit un raisonnement qui est une boîte noire ? Comment rectifier ce défaut essentiel des algorithmes ? Il existe des façons de le faire, imparfaites et encore à l’étude.
Une réponse est de respecter le principe de proportionnalité dans l’usage des algorithmes. A quelles fins on utilise un algorithme et jusqu’où on le raffine, on ajoute des données ? Ajouter des données rend l’algorithme moins lisible, c’est difficile de faire de la rétro-ingénierie, d’analyser quels ont pu être les raisonnements présidant à la décision. Google a montré lors d’une étude en 2016, qu’en doublant les données d’une base déjà importante, sur un algorithme fonctionnant correctement, cela n’améliore que de 3% l’efficacité. On ajoute donc une grande quantité de données, on complexifie l’algorithme, pour un gain d’efficacité marginal.
L’un des moyens à notre disposition pour encadrer l’algorithme est l’ »explainability by design”, qui revient à ne mettre en place des algorithmes que lorsque on a conçu des moyens de les évaluer pendant leur conception. En d’autres termes, l’algorithme fonctionne en suivant des raisonnements jusqu’à atteindre un point nodal où il doit envoyer un rapport sur la manière dont il est arrivé à une décision intermédiaire. La Commission européenne, par exemple, y est très attentive. Par ailleurs, nous encourageons le dialogue entre les juristes, les décideurs publics, et les scientifiques qui effectuent des recherches en IA ou conçoivent les algorithmes.
Si vous aimez notre travail, c’est par ici !
C’est encore mieux version papier.