Publié le
Algorithmes, libertés et responsabilités
Algorithmes, libertés et responsabilités
jeudi 10 mars 2016
Compte rendu - La sixième rencontre du cycle de débats mensuels « Mutations technologiques, mutations sociales », introduite par Daniel Le Métayer et Antoinette Rouvroy, se penchait, le 10 mars 2016, sur le thème « Algorithmes, libertés et responsabilités ».

Moteurs de recherche, systèmes de recommandation, individualisation du marketing et de la tarification, accès au crédit ou à l’emploi, prévention des fraudes ou du terrorisme… des algorithmes capables de traiter des quantités massives de données numériques (big data) d’origines diverses (administrations, réseaux sociaux, coordonnées GPS…), pilotent de plus en plus notre vie quotidienne et affectent le fonctionnement de nos sociétés. Pourtant, le plus souvent, ces processus algorithmiques échappent à la conscience et à la compréhension des individus qui ne maîtrisent ni la trajectoire des données émanant de leurs comportements, ni les logiques de calcul de ces dispositifs. Aussi « objectifs » et « impartiaux » qu’ils puissent paraître à première vue, ces algorithmes réinterrogent les notions de liberté, de justice, d’égalité et de responsabilité.

Une grande variété d’algorithmes

Parmi les algorithmes variés qui impactent nos vies, on peut, selon les experts, distinguer plusieurs types, chacun soulevant des interrogations différentes. Il y a d’abord les algorithmes de classement (ranking) ou de hiérarchisation des contenus, qui établissent des priorités, comme les moteurs de recherche. Par exemple, des algorithmes de priorisation peuvent ainsi servir à optimiser le déploiement de ressources policières sur un territoire. Il y a ensuite les algorithmes qui établissent des profils. Ils détectent, catégorisent et évaluent de façon anticipée les personnes afin de prendre ou de recommander certaines décisions à leur égard : détection des risques de fraude, de passage à l’acte terroriste, de non-remboursement de crédit, « prédiction » de bonnes ou de mauvaises performances professionnelles, de bonne ou de mauvaise réponse à certains traitements médicaux, détection des propensions d’achat…  Depuis la première élection d’Obama, les algorithmes sont même utilisés à des fins de marketing politique pour envoyer des messages personnalisés aux électeurs. Mais derrière cette grande diversité d’usages, ces algorithmes partagent, selon Daniel Le Métayer, directeur de recherche à Inria, trois caractéristiques communes : d’abord, ils influencent nos vies, dans notre activité quotidienne (accès à l’information, achats, etc.) mais aussi à des moments critiques (candidature pour un emploi, demande de prêt, etc.) ; ensuite, ils ne sont pas neutres (ils reposent sur des critères) et ne sont pas forcément corrects (ils peuvent par exemple générer des « faux positifs », des personnes signalées à tort, et des « faux négatifs », des personnes qui ne sont pas signalées alors qu’elles devraient l’être) ; enfin, ils restent très largement opaques.

« Jusqu’où est-on prêt à aller ? »

Pour Antoinette Rouvroy, chercheuse qualifiée du FNRS au Centre de recherche en information, droit et société à l’université de Namur, les machines algorithmiques sont différentes des machines classiques : ce ne sont pas tant des machines qui « font » des choses que des machines programmées pour nous faire faire des choses, en nous dispensant d’avoir à détecter, à classer, à évaluer par nous-mêmes les alternatives disponibles. Les finalités de ces machines algorithmiques peuvent être la simple information (information commerciale contextualisée envoyée sur les smartphones en fonction de leur localisation), la recommandation (en matière d’embauche, de promotion, de gestion des ressources humaines ou encore de libération conditionnelle ou de maintien en détention) jusqu’à la substitution à la décision humaine (détection automatique de comportements anormaux dans un aéroport déclenchant le blocage de toutes les installations et la fermeture de toutes les portes de l’aéroport).

L’autorité dont est parée « l’intelligence des données » exige, de la part de celui qui voudrait s’écarter de la recommandation automatisée, de s’en justifier d’une manière qui soit au moins aussi persuasive que l’est la recommandation automatique et d’assumer personnellement les conséquences de la décision prise, alors que l’obéissance à la recommandation automatique atténue fortement la responsabilité mise à charge des opérateurs humains. Autant d’éléments qui rapprochent les dispositifs d’information et de recommandation des dispositifs qui se substituent à la décision humaine.

Dans ce contexte, pour Daniel Le Métayer, la grande question est : « Jusqu’où est-on prêt à aller ? ». Faut-il, dans certains contextes, introduire des limites à l’usage des algorithmes ? Est-on prêt à accepter par exemple des primes d’assurance individualisées selon différents critères et profils et à renoncer à toute forme de mutualisation des risques ? Quel degré d’opacité des algorithmes est-on prêt à admettre ? Quelle sera la responsabilité des décideurs qui prendront des décisions à partir de calculs automatisés dont ils ne maîtriseront pas la logique ?

Exigences et limites de la transparence

L’opacité des algorithmes est souvent considérée comme une condition de leur efficacité, de leur performance et de leur fiabilité. Les entreprises ont intérêt à comprendre le fonctionnement de l’algorithme d’un moteur de recherche pour apparaître le plus haut possible dans son classement. De même, dans le cadre de la prévention du terrorisme, on ne peut évidemment pas divulguer le fonctionnement des algorithmes utilisés. Des considérations auxquelles peuvent s’ajouter des questions de secret industriel et de propriété intellectuelle.

En matière de transparence, ce qui est important, ce n’est pas le code source ni le mode opératoire détaillé du logiciel, ce sont les données exploitées par l’algorithme, l’impact de ces données (par exemple favorable ou pas dans le cas d’une demande de prêt), les comportements évalués et les conséquences pour les individus.

Même si elles demandent à être améliorées, des méthodes de rétro-ingénierie peuvent apporter certains éléments de réponse. On peut ainsi retrouver la logique d’un algorithme en lui fournissant des données et en observant les résultats. Cette démarche a été notamment utilisée pour connaître les mots censurés dans les algorithmes d’autocomplétion de Google ou dans le système de correction automatique de l’iPhone, ou encore pour étudier des algorithmes de tarification individualisée comme celui d’Uber.

Pistes de régulation

Mais il devient plus compliqué de répliquer ces expériences lorsque les algorithmes « auto-apprennent » et traitent un volume de données croissant en temps réel. Selon Daniel Le Métayer, il faudrait penser la transparence a priori, dès la conception, plutôt qu’a posteriori, dans une démarche de responsabilisation (accountability by design). Ceux qui traitent des données personnelles doivent avoir des comptes à rendre, estime également le chercheur. La CNIL a montré qu’il existait de nombreux dysfonctionnements dans le traitement des antécédents judiciaires (système TAJ). Celui-ci étant notamment utilisé dans les enquêtes préalables à certains emplois publics ou sensibles, ces erreurs dans les fichiers peuvent éventuellement entraîner des conséquences majeures sur la vie de nombreuses personnes.

Parmi les autres pistes de régulation évoquées figure également la mise en œuvre effective, dans le contexte des données massives, de certains des grands principes de la protection des données, notamment :

  1. le principe de minimisation des données : dans le contexte des données massives, c’est la quantité de données – aussi anonymes, peu denses en information, peu structurées soient-elles – qui détermine les risques que les traitements de données font courir aux droits et libertés fondamentaux ;
  2. le principe de finalité : qui permet d’éviter, par exemple, que des données recueillies dans un certain contexte, pour une certaine finalité légitime, ne se retrouvent utilisées dans un autre contexte, pour d’autres finalités. Ainsi, le principe de finalité pourrait-il justifier de s’opposer à la réutilisation des données de consommation ou de fréquentation des grandes surfaces pour calculer les risques de non-remboursement d’un crédit bancaire, ou à l’utilisation de données recueillies sur les réseaux sociaux pour « prédire » les performances professionnelles d’un candidat à l’embauche.

Enfin, il est tout à fait légitime, dans le cas de décisions prises par les administrations et les entreprises ayant fait intervenir des algorithmes de recommandation, d’exiger de l’administration et des entreprises une motivation des décisions prises, car la transparence ne suffit pas, surtout si elle sert d’alibi à la non-responsabilité. En cas de suspicion de discrimination indirecte résultant de la recommandation automatisée, la charge de la preuve d’une discrimination indirecte pourrait incomber à l’administration ou à l’entreprise, plutôt qu’à l’individu ayant fait l’objet de la décision.

« Gouvernementalité algorithmique »

Pour rendre compte des transformations induites par la « transition numérique », Antoinette Rouvroy a développé le concept de « gouvernementalité algorithmique » : un mode de gouvernement des conduites nourri essentiellement de données brutes (signaux infra-personnels et a-signifiants mais quantifiables), opérant par configuration anticipative des possibles plutôt que par règlementation des conduites, et s’adressant aux individus par voie d’alertes ou de stimuli provoquant des réflexes plutôt qu’en s’appuyant sur leurs capacités d’entendement et de volonté. La reconfiguration constante, en temps réel, des environnements informationnels et physiques des individus en fonction de « l’intelligence des données » est donc un mode de gouvernement inédit, qui signe l’abandon de la rationalité moderne, qui reliait les causes aux conséquences, pour une rationalité « post-moderne », purement statistique, inductive, optimisatrice des états de fait, qui vise, à partir de corrélations, à prédire les phénomènes sans nécessairement les comprendre. C’est un système qui confond les signaux et les choses, le monde et sa représentation numérique. Pour Antoinette Rouvroy, c’est le symptôme d’une crise générale de la représentation : on ne veut plus gouverner, on veut que le réel se gouverne lui-même.

Pour aller plus loin

Rapport de la Commission de réflexion et de propositions sur le droit et les libertés à l’âge du numérique (septembre 2015)

Des données et des hommes : droits et libertés fondamentaux dans un monde de données massives, rapport d’Antoinette Rouvroy pour le Conseil de l’Europe (janvier 2016)

Antoinette Rouvroy et Thomas Berns, « Gouvernementalité algorithmique et perspectives d’émancipation : le disparate comme condition d’émancipation par la relation », Réseaux, 2013/1, n° 177, p. 163-196.

Michel Bazan


La prochaine rencontre, « Algorithmes, libertés et responsabilités », sera introduite par Daniel Le Métayer, directeur de recherche Inria, et Antoinette Rouvroy, chercheuse qualifiée du FNRS au Centre de recherche en information, droit et société (CRIDS), à l’Université de Namur.

Avec la prolifération des données massives, la vie et les interactions des citoyens sont de plus en plus intensément "médiées" par des algorithmes informatiques dont les individus n'ont le plus souvent pas même conscience ou dont ils ne maîtrisent pas les logiques de fonctionnement. Les algorithmes interviennent notamment dans la structuration du monde numérique, du fait du rôle des moteurs de recherche et des systèmes de recommandation ; dans les activités commerciales, en rendant possible l'individualisation croissante des prix ou des primes d'assurance ; mais aussi dans la sphère publique, que ce soit dans l'éducation aujourd'hui ou la santé demain. Parce qu'il produisent des effets sur les individus, ces traitements algorithmiques, aussi "objectifs" qu'ils puissent paraître à première vue, réinterrogent les notions :

  • de liberté (notre capacité à ne pas être là où nous sommes attendus ou de ne pas faire tout ce dont les algorithmes nous jugent capables) et de déterminisme (les "profils" algorithmiques ne sont-ils pas des prophéties autoréalisatrices ?) ;
  • de justice (la justice est-elle réductible à l'objectivité numérique et à la fiabilité computationnelle ?) ;
  • d'égalité (les distinctions de traitement fondées sur des profils algorithmiques sont-elles nécessairement favorables à l'idéal d'égalisation des opportunités ?) ;
  • de responsabilité (qu'est-ce qu'assumer une décision dans un contexte marqué par la recommandation automatisée ? Qu'est-ce que rendre compte de soi dans un contexte de profilage intensif ?).

Cette séance abordera notamment les thématiques suivantes :

  • Faut-il davantage encadrer l'utilisation de certains algorithmes ? Si oui lesquels, dans quelles circonstances, comment ?
  • La "transparence" des algorithmes, pour autant qu'elle soit un objectif souhaitable et atteignable, est-elle de nature à réellement rendre les relations entre les individus et les administrations ou les entreprises a) plus symétriques ? b) plus justes et équitables ? Est-elle de nature à rendre les décideurs plus responsables ?

Lionel Janin : mutmut@pm.gouv.fr

Galerie média