Plateformes numériques, algorithmes et société: explicabilité et effets
AUTEURS
Sihem Amer-Yahia; Christophe Benavent; Bruno Descamps; Antoine Henry; Maryvonne Holzem; Elsa Jaubert; Maxime Lambrecht; Daniel Le Métayer; Maël Pégny; Franck Rebillard; Serge Surin; Alexis Tsoukias
La rencontre des groupes de travail Plateformes et Risque Algorithmique, et Surveillance et Manipulation dans le cadre du lancement du Centre Internet et Société http://cis.cnrs.fr/ et du montage du GdR Internet et Société, a été l’occasion de poser un premier cadre de réflexion, de soulever nombre de questions et des premières pistes de recherche à explorer. Ce texte est une synthèse de nos travaux et échanges.
Les deux groupes de travail se sont donnés pour objectif d’étudier les effets des plateformes numériques sur la société pour en mesurer l’ampleur et la nature, en appréhender les risques mais aussi les opportunités. Ces analyses permettront peut-être de mieux concevoir les plateformes et de contribuer au bien-être social. D’un point de vue plus fondamental, nous souhaitons estimer avec plus de finesse l’étendue et la nature de notre compréhension de ces systèmes et nous interroger sur les effets de la division du travail intellectuel dans une société infiltrée par des systèmes techniques complexes, ce qui permettra d’alimenter de façon informée la réflexion sur leur modération et leur encadrement.
LES PARTIES PRENANTES DES PLATEFORMES NUMERIQUES
Les humains : les premiers concernés sont bien évidemment les êtres humains, dont le quotidien est de plus en plus façonné par lesdits algorithmes sur les plateformes numériques. Il est possible de distinguer plusieurs échelles : celle de l’individu, du groupe (populations, groupes éphémères, etc.) et de la collectivité (structures sociales, lois, Etats). L’exemple d’un algorithme mondialisé comme celui de Facebook est significatif : utilisé par plus de 2 milliards d’êtres humains répartis dans le monde entier, il a des effets à toutes les échelles mentionnées.
Les algorithmes : les algorithmes sont concernés notamment au regard des questions relatives à l’innovation (collaborative et de compétition) ou avec la mise en place d’outils (outils de recommandation, MOOC, créativité, partage de ressources/connaissances). Ainsi, les algorithmes qui gèrent l’interaction entre les acteurs de ces plateformes ont un impact sur l’effet de ces plateformes (aussi bien en termes de contenus que de services).
Les institutions : le législateur et les différentes instances de production de normes (loi, directives, etc.) sont à la fois utilisateurs de ces technologies mais aussi les subissent et sont questionnés par le fonctionnement intrinsèque des algorithmes (en lien avec la pensée de Lessig en 1999, “code is law”).
Les acteurs économiques : les sociétés référencées par les plateformes, dont le sort peut dépendre largement de la visibilité que celles-ci peuvent leur donner (et leur retirer).
PREMIER ENJEU : EXPLICABILITE
Un premier enjeu est apparu assez naturellement, celui de l’explicabilité, terme qui dérive d’explication – développement consistant à faire comprendre, à éclaircir quelque chose (https://www.cnrtl.fr/definition/explication). Il se distingue de la transparence, qui suppose uniquement le fait de montrer, sans garantir que ce qui sera montré puisse être compris. C’est une étape fondamentale afin de créer les conditions de la confiance Ce terme a vu récemment le jour dans le domaine de l’Intelligence Artificielle (IA) pour répondre aux exigences de la loi pour une république numérique (2016) imposant le devoir d’expliquer une décision administrative obtenue par un traitement automatique. A la différence du mot explication, qui exprime le résultat de l’action d’expliquer (par exemple l’exposé des causes de ce qui est difficile à appréhender), l’explicabilité témoigne de la faculté de pouvoir expliquer sans obligation d’une visée résultative. Nous retrouvons la même différence entre une décision algorithmique explicable (savoir s’il est possible d’en rendre compte) et une décision algorithmique interprétable (compréhensible, porteuse de sens pour quelqu’un, par exemple pour un juriste dans le cadre de sa pratique). Cette explicabilité va se décliner sous plusieurs formes :
– des explications de nature opérationnelle, c’est à dire visant à faire comprendre comment cela se passe réellement, par exemple, comment on obtient la recommandation d’un produit.
– des explications de nature logique, qui vont répondre à la question : pourquoi obtient-on tel résultat ? Quelle est la logique d’ensemble ? Concernant cet aspect, une distinction fréquente dans la littérature existe entre l’explication locale d’un résultat et l’explication globale de l’intégralité de l’algorithme.
– des explications contrastives, qui répondent à la question : pourquoi n’ai-je pas obtenu un certain résultat ? ou comment les résultats que j’ai obtenus se comparent aux personnes qui me sont similaires ?
– des explications de nature fonctionnelle, en particulier à quoi cela sert-il ? Dans ce cas, l’explication est personnalisée selon l’expertise de l’utilisateur, par exemple, professionnel du droit ou informaticien ou citoyen, et aurait comme objectif de rendre l’algorithme utilisable. Elle sert de manuel d’utilisation et sa description dépend de l’objectif et de l’expertise de l’utilisaeur. Pour passer de l’explicabilité à l’interprétabilité, il faut en outre veiller à ce que les explications fournies soient comprises par le sujet destinataire. Cette interprétabilité est à mettre au regard des différentes parties prenantes concernées par les algorithmes.
Si l’explicabilité et la transparence semblent essentielles à construire un cadre dans lequel peuvent opérer des algorithmes loyaux, des risques/effets pervers se dessinent :
– Risque de triche ou de contournement facilité par la transparence de l’algorithme. En effet, en comprenant son fonctionnement, il est possible de le dévoyer de sorte à favoriser ses intérêts.
– L’explicabilité reste soumise à de nombreux biais qui doivent être pris en compte de façon à ce qu’elle soit loyale et puisse être accessible à tous. On pense notamment à la prise en compte de la fracture numérique et aux difficultés des populations concernées, comme l’illettrisme ou l’analphabétisme, ou encore la difficulté à comprendre certains principes de calcul tels la proportionnalité, etc.
– Si, à l’exemple du projet de loi sur la bioéthique https://www.conseil-etat.fr/ressources/avis-aux-pouvoirs-publics/derniers-avis-publies/avis-sur-un-projet-de-loi-relatif-a-la-bioethique, la mise en œuvre d’une décision fondée exclusivement sur un traitement automatisé semble exclue, un risque existe que l’être humain s’appuie de plus en plus sur ces algorithmes et joue uniquement un rôle d’enregistrement de la décision prise par l’algorithme, d’autant plus que cette décision a un rôle prescripteur très fort, l’homme ayant tendance à faire confiance à la machine et à s’en remettre au résultat qu’elle fournit.
DEUXIEME ENJEU : EFFETS DES PLATEFORMES
Étudier les effets des plateformes numériques sur les différentes parties prenantes a comme objectif d’identifier les effets pervers non-intentionnels (comme le renforcement des inégalités ou des discriminations) et les utilisations malicieuses (manipulation d’opinions – ancrage et délit d’initiés), et de contribuer à un meilleur design et à des algorithmes plus respectueux de valeurs et de droits fondamentaux (dans une perspective européenne).
Les effets identifiés sont de trois types :
– les effets intentionnels, c’est à dire ceux qui sont recherchés à l’origine par les concepteurs de l’algorithme (ex : tracer un chemin entre un point A et un point B).
– les effets non-intentionnels, que nous pouvons assimiler aux effets de bord en informatique et qui vont entraîner un comportement non prévu initialement (ex : création d’un bouchon entre le point A et B comme l’ensemble des utilisateurs sont envoyés sur cet itinéraire).
– les effets malicieux, plus pernicieux, qui sont l’expression d’une volonté extérieure de dévoyer l’algorithme (dont le fonctionnement est connu ou compris de façon empirique) pour favoriser ses intérêts. Les exemples connus sont le Google Bombing ou encore la manipulation de classements comme l’illustre Muller dans son ouvrage The Tyranny of Metrics http://www.internetactu.net/2018/09/17/de-la-tyrannie-des-metriques/ (dévoiement des mécanismes).
ILLUSTRATIONS
L’explicabilité illustrée : Réussir à expliquer un algorithme ou à le rendre transparent est nécessaire de sorte à rééquilibrer les rapports de pouvoirs entre plateformes et utilisateurs/fournisseurs. En effet, leur position en tant qu’intermédiaire entraîne de facto une asymétrie informationnelle au profit des plateformes qui sont en capacité de favoriser leurs intérêts (à l’image de la démonstration réalisée par Rosenblat dans son ouvrage Uberland). Dans les cas où un algorithme est utilisé par une administration publique, il y a une exigence de transparence relative à la manière dont la décision est prise. Ainsi de l’exemple de Parcoursup pour lequel un projet de loi a été déposé pour dévoiler les critères utilisés : http://www.assemblee-nationale.fr/15/propositions/pion1158.asp. Ainsi, “depuis le 1er septembre [2017], toutes ces décisions individuelles prises « sur le fondement d’un traitement algorithmique » doivent être accompagnées d’une « mention explicite » informant l’usager qu’un programme informatique est donc venu s’immiscer dans le calcul de ses APL, de sa taxe d’habitation, etc” (source : https://www.nextinpact.com/news/105098-transparence-algorithmes-loi-numerique-ignoree-nombreuses-administrations.htm). Dans le cas où une fonction opérée normalement par l’Etat est confiée à une plateforme, il y a une exigence de reddition de compte de l’exercice d’une régulation algorithmique déléguée.
Les effets illustrés : Blablacar a pour objectif de mettre en commun des capitaux non exploités. Ses effets au niveau individuel sont : les utilisateurs peuvent voyager de façon souvent plus flexible et à moindre coût, les propriétaires de véhicules ont une source de revenus supplémentaire. Au niveau de la population,on observe un transfert de richesses entre les pauvres (qui ont besoin de se déplacer) et les riches (propriétaires de véhicules). Au niveau institutionnel (collectif), cette situation fragilise les ressources des transports publics en créant une situation de concurrence avec des entreprises publiques opérant un service public de mobilité, mais aussi par rapport au besoin de renouvellement du parc automobile.
– Biais dans le pricing : le prix de l’agrafeuse dans un magasin de Target est calculé sur la concurrence, ce qui conduit à une différence de prix entre quartiers riches et quartiers pauvres, où l’agrafeuse est plus chère car il y a moins de concurrence. De même, Uber utilise le surge pricing afin de réduire le temps d’attente, c’est à dire en faisant varier le prix en continu pour maintenir la même qualité de service. Concrètement, Uber utilise le signal d’ouverture de l’application pour augmenter le prix en cas d’affluence, ce qui crée une incitation pour les chauffeurs à répondre à la demande et décourage en revanche une partie des clients, de façon à maintenir l’équilibre et la fluidité du service. Ces acteurs combinent à la fois des algorithmes de prédiction et de pricing que nous retrouvons aussi dans le fonctionnement d’autres plateformes comme Didi ou dans le système des enchères sur Ebay (qui s’appuie sur des robot de pricing).
– L’engouement pour l’application YUKA utilisée par des millions de consommateurs a fait bouger les lignes des marques et de la grande distribution, les encourageant à adopter aujourd’hui le système du NUTRISCORE, alors qu’elles y ont été longtemps réfractaires.
– La plateforme de crowdsourcing FouleFactory s’est transformée en Wirk, une plateforme de socialisation qui a nécessité de « polir » la communauté des travailleurs pour identifier ceux qui sont à même de prendre en charge les autres membres et les nouveaux membres (onboarding).
REGARDS DISCIPLINAIRES
Suite à ces considérations, nous résumons les points de vue des différentes disciplines présentes lors de notre discussion.
Explicabilité : point de vue du philosophe
Le premier point soulevé est relatif aux sciences sociales et à une dépendance aux questions auxquelles ont veut répondre. Quelles sont les questions pour lesquelles on veut avoir une explication ? De même, comment faire en sorte que la constitution de notre corpus de questions ne reproduise pas les inégalités d’accès à l’administration (on n’entend pas les questions des personnes qu’on ne voit jamais) ? Comment effectuer le travail normatif permettant de poser les questions qui ne sont posées par aucune population, mais qui, dans les faits, pourraient concerner certaines personnes ? Se pose aussi la question de l’accessibilité du langage juridique (dans le cas d’une décision juridique ou administrative. Actuellement avec les algorithmes, nous n’avons pas encore d’explication des décisions, même imparfaite. Emerge aussi la question de la loyauté de la plateforme et de l’honnêteté de l’explication. Mais alors, qu’est ce qu’une explication honnête ? Selon les questions, la réponse sera différente. Il faudrait sans doute aussi distinguer les besoins concrets derrière les demandes d’explication : que veux-je faire de l’explication qu’on me donne ?
Explicabilité : point de vue en information-communication
La question des algorithmes, de leur explicabilité et transparence interroge plusieurs aspects :
– la dimension communicationnelle qui va recouvrir l’accès du récepteur à l’explication d’un algorithme et donc toutes les questions de compréhension, de trouver le bon vecteur pour transmettre l’information ou encore la mise en place d’une boucle de rétroaction pour s’assurer de la bonne compréhension de la personne concernée.
– la dimension informationnelle qui va couvrir différentes questions/problématiques comme celle de la “literratie” informationnelle http://www.oecd.org/fr/education/innovation-education/39438013.pdf qui est nécessaire pour recouper les explications fournies et s’assurer de la validité de l’explication eu égard à notre situation. Un travail complémentaire concernera la production de ces dispositifs techniques (voire sociotechniques) et leurs relations avec leurs utilisateurs.
Explicabilité : Point de vue du juriste
Deux applications des algorithmes et plateformes sont déjà identifiées et testées dans le monde juridique :
– la justice prédictive qui repose sur une prédiction de la décision à partir de la jurisprudence (approche déjà testée en France).
– l’estimation de la dangerosité des prévenus et donc application d’une peine plus ou moins dure (approche testée aux États-Unis mais jamais en France).
La question de l’explicabilité est souvent liée à celle de la transparence. D’un côté, nous retrouvons le principe constitutionnel de publicité des actes administratifs (art. 15 de la DDHC de 1789), ce qui suppose que ces actes doivent être signés par leurs auteurs, afin que les personnes concernées puissent, si nécessaire, les contester et que les auteurs soient mis face à leur responsabilité. Mais, si ce point de vue est partagé par les juridictions judiciaires, les juridictions administratives ne le partagent pas (v. Loïc Cadiet (pdt), L’open data des décisions de justice, Rapport à la Garde des Sceaux, Ministre de la justice, 2017, pp. 46-52), et celles-ci se sont imposées dans le débat sur la loi n° 2019-222 du 23 mars 2019 de réforme pour la justice (not. son art. 33) pour que la communication des décisions rendues par les tribunaux soient vidées des noms des parties, ce qui est compréhensible et qui n’est pas une nouveauté, mais également des noms des magistrats qui ont rendu ces décisions (Next Impact, 25 avril 2018 ; Anne Moreau, « Les avocats jugent la justice française difficilement accessible et peu transparente », Affiches parisiennes, Actualité du droit, 14 juin 2019). Les décrets d’application de ces mesures font cependant l’objet de vives critiques de la part de certains juristes (v. Thomas Perroud, « Publicité de la justice : une leçon venue d’outre-Manche », Blog Jus Politicum, 27 septembre 2019). Ces débats sont nés de la possibilité qu’offrent les algorithmes de prédire la justice (justice prédictive). L’usage des algorithmes en matière judiciaire ne doit pas pour autant être vue comme pouvant être attentatoire à la sécurité physique des magistrats, il permet de mesurer le degré d’indépendance, d’impartialité, d’objectivité… de ces derniers. Par exemple, grâce à l’usage d’un algorithme, il a été démontré que certains juges de certaines cours administratives d’appel pouvaient rejeter jusqu’à 100% des recours contre une obligation de quitter le territoire français (OQTF) par rapport d’autres qui rejettent moyennement ce type de recours, ce qui permettait à certains réfugiés de préférer certains juges plutôt que d’autres (v. tableau comparatif in Serge Surin, « Le pouvoir démocratique et la justice constitutionnelle à l’ère des nouvelles technologies : reconsidération théorique d’un concept juridique en mutation », RIGO, [S.l.], Vol. 7, Juillet 2018, (pp. 119-148), spéc. p. 140).D’ailleurs, le Conseil constitutionnel a validé le recours à l’algorithme dans le traitement de dossiers individuels des administrés (Décision n° 2018-765 DC du 12 juin 2018, §§. 65-72. Loi relative à la protection des données personnelles) dès lors que « le législateur a défini des garanties appropriées pour la sauvegarde des droits et libertés des personnes soumises aux décisions administratives individuelles prises sur le fondement exclusif d’un algorithme. » (Ibid., §. 72). Ainsi, rejetant les arguments proférés à l’encontre de l’usage de l’algorithme permis par la loi n° 2018-493 du 20 juin 2018 relative à la protection des données personnelles, le Conseil constitutionnel conclut : « Les griefs tirés de la méconnaissance de l’article 16 de la Déclaration de 1789 et de l’article 21 de la Constitution doivent donc être écartés. Le 2° de l’article 10 de la loi du 6 janvier 1978, qui n’est pas non plus dépourvu de portée normative ou inintelligible et ne méconnaît aucune autre exigence constitutionnelle, est conforme à la Constitution. »
Explicabilité : Point de vue d’une linguistique du texte et d’une sémiotique des cultures à l’heure des corpus numériques
On résume l’informatique à « des données traitées par les algorithmes ». De ce point de vue, la question du sens est généralement abordée dans le cadre de la conception de systèmes entièrement automatiques : données en entrées, résultat en sortie. De même réduit-on souvent l’accès au contenu, aux mots clé ou au résultat du traitement algorithmique, en négligeant les corpus numériques alors que les technologies numériques modifient profondément l’accès aux données et à leur interprétation. Elles permettent en effet l’accès à des corpus de textes et il devient donc possible à la fois de ne plus encapsuler leur interprétation dans des réseaux sémantiques préexistants, mais également de prendre pleinement en compte les contextes d’interprétation. Cet accès au plein texte et au corpus engage un nouveau rapport à l’empirique dans une démarche déontologique de constitution et d’analyse des données. Cela s’est traduit par le développement de travaux pluridisciplinaires au sein des sciences cognitives, après que le paradigme fonctionnaliste, issu du positivisme logique, resté tributaire de son ontologie et de sa démarche étiologique, a revu ses prétentions à la baisse. La prise en compte, dans la suite des travaux de Simondon, du caractère anthropologiquement constitutif de la technique (Lassègue 2005, Rastier 2011, Beust 2013) et la prise de conscience de l’impossibilité d’une science de la cognition qui exclurait l’expérience vécue de son champ d’investigation (suite aux 3 écoles d’été du CNRS de 2006 à 2008 Enaction and Cognitive Science) permettent de remettre en question un point de vue informatique exclusivement calculatoire en redonnant au sujet humain le premier rôle lors du traitement de données nécessaire pour progresser, cerner un problème et y apporter des éléments de réponse. Dans ce type de plateforme, l’homme n’est plus en charge d’entrer dans un monde informatique quasi-autosuffisant mais c’est à la machine de se construire autour de ses besoins pour mieux l’assister (Thlivitis 1998). · Enfin dans la suite des travaux de Champin, Mille, Prié, (2013), promouvant les traces actives comme inscriptions de connaissances, des travaux en phénoménologie sémiotique (Piotrowski, D. & Visetti, Y-M. 2015) et neuro phénoménologie (Bitbol 2014), il semble possible de pouvoir œuvrer à un système réflexif à base de traces permettant à un utilisateur, au long des boucles sans fin de ses interactions, d’enregistrer, puis de revoir et commenter tout ou partie de ses propres traces et de faire l’hypothèse qu’une conscience réflexive peut être nécessaire à l’utilisateur (Holzem & Labiche 2017).
APPROCHES ET METHODES
De manière générale, les algorithmes, comme les explications, sont des outils techniques qui modifient les rapports de force entre les acteurs : un défi essentiel est donc de mesurer, autant que faire se peut, ces impacts et de les corriger, au besoin, s’ils paraissent illégitimes. Un but essentiel à l’explicabilité est celui de la contestabilité de la décision algorithmique et du traitement des données, avec une prise de conscience de leurs droits par les administrés, le maintien d’une capacité à promouvoir ses droits et ses intérêts en dehors de la seule contestation, et par conséquent le maintien de la capacité pour l’administration à offrir des incitations (une administration ne peut influer sur le comportement d’administrés qui ne la comprennent absolument pas). Se pose alors la question de savoir s’il est envisageable de considérer l’explication comme une forme d’encapacitation ou d’empuissantement ? Ou doit-on faire voix à la critique du droit à l’explication comme un droit formel sans grande portée dans la pratique, comme les CGU (Veale and Edwards, Luciano Floridi) ?
Plusieurs questions se posent dans l’étude des effets. Ces questions nécessitent un rapprochement entre plusieurs disciplines. Nous résumons nos discussions comme suit :
Comment identifier les effets à différentes échelles et sur différentes parties prenantes ? Comment quantifier et mesurer ces effets ?
Les métriques et indicateurs développés pour mesurer la performance des sites et des applications permettent de quantifier certains comportements relatifs à l’utilisation des outils, tels le nombre de visiteurs, le nombre de visites, les pages vues ou les fonctionnalités utilisées, le temps passé (par visite,cumulé), le taux de rebond, le nombre de partages, etc. Ces données doivent ensuite être analysées pour pouvoir fournir une interprétation des comportements. Mais ces données, aussi précises soient-elles (et en constant développement), ne permettent pas d’évaluer les effets psychologiques et sociaux. L’interprétation reste donc partielle et restreinte à des éléments quantifiables. Mesurer et analyser les effets des algorithmes dans la société à différentes échelles implique la mise en œuvre de protocoles de recherche qui mettent en lumière notamment les implications psychologiques. Actuellement, une grande pression est faite sur les États et les réseaux sociaux pour traquer la toxicité en ligne. Et l’on remarque que les jeunes développent une forme d’anxiété vis-à-vis des médias sociaux, ce qui les pousse à rester beaucoup plus en retrait et à ne plus y dévoiler leur vie personnelle. Il est pertinent de se poser la question de cette anxiété générationnelle qui favorise ainsi la production de contenus non-informationnels et stéréotypés. Cela génère plusieurs questions comme la mesure de l’anxiété et la mesure des stéréotypismes. Toutes ces questions se posent à plusieurs échelles : individuelle, collective ou sociétale. On peut également penser à l’exemple d’Uber: comment un chauffeur/passager vit avec son application Uber (satisfaction ou non, modification des comportements, pertes ou gains financiers, gestion du temps, etc.) ? Au niveau de la population : est ce qu’il y a une utilisation croissante de la plateforme ? Comment la profession de taxis réagit à Uber ? Comment les chauffeurs de VTC se perçoivent-ils collectivement ? Au niveau collectif: comment les États réagissent, régulent, légifèrent ?
Quelles méthodes développer pour étudier les effets ?
En complément des mesures, plusieurs méthodes pourraient être développées pour mettre à l’épreuve de théories sociales (économie comportementale, psychologie du travail) et pour la vérification d’hypothèses individuelles sur les populations et sur le collectif. La mise en place de laboratoires en ligne et de méthodes de test appropriées telles que les expériences contrôlées sont autant de questions qui nécessitent un rapprochement entre différentes disciplines de l’informatique et des sciences humaines et sociales.
CONCLUSION
Nous aimerions insister sur le besoin de rapprocher des experts d’horizons divers, informaticiens, économistes, linguistes, et juristes, pour traiter la question de l’explicabilité et analyser les effets des plateformes. La difficulté dans cette collaboration sera de définir des sous-thématiques qui continueront à se nourrir de ces différentes disciplines et d’éviter une vision réductrice des questions et de leurs solutions. C’est ce que cette collaboration va s’atteler à faire.