Perspectives d’acteurs : Gemma Galdón Clavell

La Fondation Eticas a récemment réalisé un audit externe de l’algorithme « VioGén », un système d’évaluation utilisé par le ministère de l’Intérieur espagnol pour prévenir la récidive des violences domestiques. Pouvez-vous nous en dire plus sur la Fondation et sur l’objectif de ce projet ? 

Chez Eticas, notre mission est de protéger les individus susceptibles d’être impactés par des processus technologiques [par exemple, des décisions induites par des systèmes d’intelligence artificielle (IA)]. Nous faisons tout notre possible en ce sens. Pour cela, nous pilotons plusieurs programmes ciblant la société civile, les responsables politiques et les acteurs privés¹.

Celui que vous évoquez a été lancé l’année dernière. Il s’agit d’un projet d’audit externe qui nous amène à travailler avec des organisations de la société civile dont les membres sont susceptibles d’être impactés par des systèmes de prise de décision automatisés. Lorsqu’il ne nous est pas possible d’obtenir un accès « interne » aux algorithmes en question, nous travaillons avec ces organisations à la rétroingénierie des systèmes. À ce jour, nous avons réalisé des audits externes dans divers domaines, notamment concernant des personnes en situation de handicap, des clients du secteur bancaire, le sujet de la récidive, des algorithmes du secteur public ou encore ceux appliqués aux systèmes de santé. La portée de ce projet a vocation à être la plus large possible.

Si nous avons commencé par l’audit externe de VioGén, c’est car il s’agit d’un algorithme que nous essayions d’auditer en interne depuis longtemps, sans jamais y parvenir. Pour nous, il était devenu impératif d’obtenir davantage de transparence sur ce système. En outre, nous avions connaissance de plusieurs cas de femmes victimes de violences domestiques dont les dossiers avaient été classés dans la catégorie « faible risque de récidive » par le système, et qui ont à nouveau été victimes de violences. Nous cherchions donc à savoir s’il s’agissait d’un bug ou si ces situations étaient dues au fonctionnement ordinaire de VioGén, si les cas relayés dans la presse étaient des exceptions… ou même s’il était tout bonnement impossible d’identifier la source du problème, ce qui aurait été un réel problème en soi. Via cet audit externe, notre objectif était de récolter le plus de données et d’informations possible afin d’inciter le ministère de l’Intérieur à une plus grande transparence sur le système VioGén.

L’impact sur les personnes affectées par ces décisions automatisées est-il suffisamment pris en compte ?

L’un des problèmes récurrents que nous avons constatés autour de l’intelligence artificielle appliquée aux systèmes de prise de décision automatisés est la totale négligence envers les utilisateurs finaux et les personnes affectées par ces systèmes. Dans nos sociétés, je pense que nous avons normalisé le fait que les enjeux technologiques sont trop obscurs et complexes, et que nous ne pouvons nous y intéresser si nous ne disposons pas des connaissances nécessaires. Par conséquent, les sujets ayant trait aux technologies ne sont abordés qu’entre experts. Nous avons normalisé le fait que les utilisateurs finaux, mais aussi bien souvent les responsables politiques, n’ont pas connaissance des décisions prises par les systèmes automatisés, ce qui est d’autant plus frappant que, pour la plupart, ces systèmes se nourrissent de données produites par la société. On ne peut construire de bons algorithmes que si l’on comprend la société. Or, on continue d’exiger de la part d’ingénieurs de « coder » un monde qu’ils ne comprennent pas. Cela entraîne une aggravation des systèmes en question, et une totale ignorance des intérêts et des contributions des utilisateurs finaux.

C’est l’un des points que nous souhaitions absolument mettre sur la table. En plaçant les femmes interrogées au centre de notre audit, nous avons pu montrer qu’une grande partie des données recueillies proviennent d’interactions avec ces dernières. En outre, si les concepteurs de VioGén avaient pris le temps de leur parler, le système aurait été de meilleure qualité.

La plupart des gens trouve cela normal qu’un supermarché engage des experts en marketing pour évaluer l’expérience client et savoir ce que les clients ressentent à l’égard de leur marque. Il est difficile pour nous d’accepter que nous ne fassions pas quelque chose de similaire pour des systèmes sensibles comme VioGén, en veillant à évaluer le fonctionnement du système, à impliquer les personnes concernées, à échanger avec elles, et à les faire participer à la conception et au processus d’amélioration du système. Cette absence de collaboration est frappante pour VioGén, mais je dirais qu’elle concerne tout système d’IA. C’est vraiment inquiétant lorsque l’on sait que ces systèmes prennent de plus en plus de décisions sensibles qui ont un impact important sur la vie et les opportunités des citoyens.

Dans votre rôle d’auditeur indépendant, comment vous positionnez-vous vis-à-vis des autorités chargées de s’assurer que ce genre d’outils n’empiète pas sur les droits et libertés des individus ?

J’ai bien peur qu’il n’y ait pas vraiment d’autorité de surveillance pour le moment. Nous avons des institutions qui sont supposées superviser le développement de ces systèmes mais souvent, elles ne possèdent ni les outils ni les ressources pour ce faire. Il y a de gros problèmes de mise en application. Nous disposons peut-être de droits en théorie, mais étant donné que personne ne les fait respecter dans la pratique, nous ne sommes absolument pas protégés dans la vie réelle.

Chez Eticas, nous sommes convaincus que l’audit est une des étapes nécessaires non seulement pour améliorer le statut juridique mais aussi la qualité et la transparence des systèmes de prise de décision automatisés. Je dis souvent que pour nous, les audits sont comme les ceintures de sécurité dans les voitures. Beaucoup considèrent que la ceinture de sécurité est l’invention qui a permis de sauver le plus de vies depuis l’invention de la pénicilline. Parfois, les innovations doivent être accompagnées de dispositifs de sécurité, de protections qui les rendent meilleures, plus « utilisables ». Les systèmes d’IA actuels peuvent être comparés à des voitures qui, non seulement, rouleraient sans ceintures de sécurité, mais aussi sans freins. Nous laissons des innovations incorporant de l’IA atteindre le marché et impacter les citoyens, sans aucune sorte de contrôle ni de normes relatives aux bonnes pratiques en la matière ou à la notion de protection de l’utilisateur. C’est extrêmement problématique.

Les audits, qui sont un des éléments de « l’écosystème de régulation » que nous devons développer, ne représentent pour autant qu’une pièce du puzzle. Si nous parvenons à faire des audits une norme, si tous les systèmes d’IA souhaitant se déployer sur le marché devaient passer par un audit préalable et si les résultats de ces audits étaient rendus publics, alors je pense que nous aurions fait un pas incroyable vers la transparence, la fiabilité et la responsabilisation de ces systèmes, ce qui permettrait d’améliorer la confiance dont ils bénéficient de la part des utilisateurs.

Je crois fermement que l’IA a énormément d’aspects positifs à apporter. Je suis juste extrêmement frustrée de constater à quel point nous faisons mal les choses. Il s’agirait simplement de s’assurer que nous associons innovation et garde-fous. Actuellement, nous avons uniquement l’innovation. Or, l’innovation sans garde-fous est profondément dangereuse et n’est pas désirable d’un point de vue sociétal.

Comme le montre votre audit, les officiers de police tendent à avoir une confiance aveugle dans l’évaluation des risques opérée par VioGén. Quelle doit être la responsabilité humaine dans l’utilisation ce type de dispositifs ? 

Souvent, les bonnes intentions des responsables politiques concernant ces solutions (par exemple l’intégration du concept d’intervention humaine au niveau de l’Union européenne), n’ont pas l’effet escompté dans la pratique. En ce qui concerne l’obligation d’intervention humaine, elle peut avoir pour résultat soit de réintroduire des biais dans le système, soit de déresponsabiliser les utilisateurs quant aux décisions prises.

Au-delà de constituer du solutionnisme technologique face à des problèmes sociétaux, les systèmes d’IA et de prise de décision automatisés deviennent un moyen pour les individus de se défaire de leur responsabilité : « l’algorithme décide donc ce n’est pas mon problème si les choses tournent mal ». Cela est problématique. Quand ces femmes (ou tout autre individu) font appel à la police, elles s’attendent à ce que ce soit un professionnel qualifié qui prenne une décision à leur égard, pas un système automatisé dont elles ignorent l’existence. La problématique de la responsabilité qui entoure les systèmes de prise de décision automatisés est vraiment cruciale. Les exigences réglementaires comme l’intervention humaine doivent être mieux définies, de manière à s’assurer qu’un individu ne puisse se contenter de dire « oui » à un algorithme, et qu’une contribution qualitative de sa part soit aussi exigée.

La solution que nous suggérons est simple : à chaque fois qu’un agent de police décide  de suivre ou de rejeter une évaluation issue de VioGén, il doit obligatoirement justifier son choix en l’expliquant dans un rapport. Une telle démarche permettrait de s’assurer que la décision finale, bien qu’elle puisse être aiguillée par le système de prise de décision automatisé, relève toujours de la discrétion et de la responsabilité de l’individu. Nous sommes convaincus que rendre  la validation des analyses des risques réalisées par VioGén aussi difficile que leur rejet contribuerait également à un traitement plus équitable des affaires. Actuellement, il est plus facile pour l’officier de police de se contenter de valider l’évaluation. Quand il décide de suivre la recommandation du système, il n’a pas à se justifier. Cela est terrible parce qu’un policier surchargé de travail aura tendance à simplement approuver le résultat algorithmique, même s’il n’est pas d’accord avec. Ils n’ont simplement pas le temps de justifier leur décision.

Le système devrait inclure cette étape et devrait prévoir du temps pour que les officiers de police puissent établir un rapport convenable sur la base des évaluations du système VioGén. L’objectif est que le système soit une simple aide à la prise de décision, et non un système de prise décision per se.

Le futur règlement européen sur l’intelligence artificielle (AI Act) introduit un classement de ce genre de technologies en fonction de leur niveau de risque, notamment au regard de leur impact sur les droits et libertés fondamentaux des individus. Pensez-vous que cela puisse contribuer à une meilleure prise en compte de ces aspects ? 

La distinction entre les systèmes d’IA « à haut risque », « à risque moyen » et « à faible risque » introduite par la Commission européenne est problématique, comme cela a déjà été souligné. Le seul point positif concernant cette catégorisation est qu’elle crée une catégorie d’IA « à haut risque », ce qui fait que certains systèmes qui sont considérés aujourd’hui comme peu risqués (comme s’ils n’avaient pas d’impact sociétal) devront faire l’objet de contrôles accrus. Le problème est la sous-évaluation des risques de nombreux systèmes identifiés comme présentant des « risques faibles », et vice versa. Le manque de compréhension fine et de définition de ces termes ne peut qu’aboutir à de nouveaux problèmes.

En outre, le règlement sur l’IA prévoit une surveillance stricte, alors que celle-ci existe déjà. Elle n’est juste pas appliquée. Si nous ne remédions pas aux lacunes de mise en application, nous continuerons à rencontrer les mêmes problèmes. Le règlement général sur la protection des données (RGPD) dispose déjà que le recours à des systèmes automatisés doit être justifié, que ces systèmes doivent faire l’objet d’évaluations de proportionnalité, d’évaluations d’impact… et ces obligations ne sont à ce jour pas respectées. Je ne comprends pas comment le régulateur continue à se fier à des mots au lieu d’exiger des actions et des faits.

Donc oui, en effet, l’intégration d’outils de machine-learning [à VioGén] en ferait un système « à haut risque », et un contrôle strict serait mis en place, ce qui pourrait être une bonne chose. Pour autant, « apprentissage automatique » ne signifie pas grand-chose en soi. L’important est de savoir si l’ apprentissage est supervisé ou non. Le fait qu’une dimension « apprentissage automatique » soit incorporée, en soi, pourrait améliorer le système VioGén, à condition qu’il s’agisse d’un apprentissage automatique supervisé.

Le règlement n’introduit pas suffisamment de granularité pour que nous, techniciens, puissions le mettre en œuvre de manière à assurer une surveillance effective de ces systèmes. Il y a encore un long chemin à parcourir afin de concilier la réalité technique des pratiques avec ce que les responsables politiques attendent des systèmes de prise de décision automatiques.

¹ En savoir plus sur Eticas : https://eticasfoundation.org/about/