Enjeux découlant de la prise de décision automatisée

Le recours à la prise de décision automatisée permet aux organismes publics ainsi qu’aux entreprises d’augmenter leur efficacité, parfois de manière considérable, lors de leur prestation de services envers les citoyens ou leurs clients. Il suffit de penser à la vitesse d’analyse de dossiers et de critères de qualification pour l’obtention d’un prêt à la banque ou pour obtenir une décision administrative du gouvernement.

Qu’arrive-t-il lorsque cette prise de décision automatisée a un impact important sur les droits d’une personne? Comment est-il possible de s’assurer que les données d’apprentissage automatique de l’algorithme utilisé ne propagent pas de biais ou de stéréotypes à travers les décisions rendues? Quel est le cadre légal entourant le recours à ces technologies? Cet article a pour objectif de répondre à ces interrogations.

Qu’est-ce qu’une décision automatisée?

Tout d’abord, il est important de connaître la définition de ce que constitue une décision automatisée. Pour qu’une prise de décision soit considérée comme automatisée, aucun humain ne doit être intervenu dans tout le processus décisionnel. Habituellement, cette prise de décision implique la collecte de données traitées par des algorithmes basées ou non sur l’intelligence artificielle. Pensons par exemple à une demande de crédit. Une personne peut se voir refuser l’accès au crédit parce qu’un algorithme a appliqué certaines règles de qualifications de manière automatique en fonction de ses informations financières. Aucun humain n’a besoin d’intervenir pour rendre cette décision.

Les différentes technologies de prise de décision automatisée se sont beaucoup développées au cours des dernières années, mais il ne s’agit pas d’un phénomène nouveau. Cependant, l’augmentation du recours à la prise de décision automatisée, tant dans le secteur public que privé, fait naître de nouveaux enjeux éthiques et légaux, notamment au niveau des droits individuels en matière de protection des renseignements personnels.

Enjeux à considérer

Tel que précisé plus tôt, la prise de décision automatisée est très utile et répandue dans plusieurs secteurs. Toutefois, le recours à ces technologies peut avoir des impacts importants dans la vie des gens et c’est pourquoi de plus en plus de mesures sont prises pour assurer une transparence de la part des entreprises et des organismes qui s’en servent.

Voici quelques exemples d’enjeux à considérer :

Les biais et stéréotypes

L’utilisation de l’intelligence artificielle et d’algorithmes pour rendre des décisions automatisées implique obligatoirement l’utilisation de données d’entraînement. Les données d’entraînement, comme le nom l’indique, servent à entraîner l’algorithme dans sa prise de décision. Un algorithme bien entraîné avec des données de qualité sera en mesure de faire de bonnes prédictions, mais l’inverse est malheureusement tout aussi vrai.

En effet, si les données d’entraînement ne sont pas adéquates ni correctement vérifiées, certains biais et stéréotypes peuvent se refléter dans les décisions rendues par l’algorithme. Le résultat? De mauvaises prédictions et des refus de services pouvant avoir des impacts importants dans la vie des individus touchés.

Un exemple intéressant permettant d’illustrer cet enjeu est celui des logiciels de recrutement. Il est bien connu que de nombreuses entreprises ont recours à l’intelligence artificielle afin de faciliter le processus de recrutement des candidats potentiels. Ces logiciels s’occupent notamment de filtrer les candidatures et de ne conserver que celles remplissant des critères bien précis et déterminés à l’avance en fonction des postes à combler.

Or, ces logiciels peuvent contenir des biais. Ce fut d’ailleurs le cas du logiciel basé sur l’intelligence artificielle qui était utilisé par Amazon pour faire le tri dans les candidatures reçues. Ce dernier écartait de manière systématique les candidatures féminines, puisque l’algorithme prenait en considération que la majorité des candidatures reçues dans les 10 dernières années étaient des candidatures masculines et en déduisait donc que les hommes étaient de meilleurs candidats pour occuper des postes en technologies¹. Amazon a cessé d’utiliser ce logiciel en 2018, lors de la découverte de cette faille majeure².

De plus, une récente étude de la Harvard Business School³ a déterminé que ces logiciels écartent automatiquement de bons candidats potentiels, en raison de critères stricts appliqués par l’algorithme utilisé⁴. Par exemple, si une entreprise recherche un candidat avec trois ans d’expérience, détenant une maîtrise dans un domaine spécifique et n’ayant que des notes de 80% et plus, aucun profil atypique qui ne correspond pas entièrement à ces critères ne sera retenu par l’algorithme. Certains candidats ne verront donc jamais leur candidature examinée et ne passeront jamais d’entrevue, malgré qu’ils aient toutes les compétences et le potentiel nécessaires pour occuper le poste.

La qualité de l’algorithme

Pour s’assurer du bon fonctionnement de l’algorithme utilisé dans la prise de décision automatisée et de l’absence de biais algorithmique, il est essentiel de bien le comprendre et de connaître l’impact des décisions rendues pour les personnes visées. Pour ce faire, il est recommandé de procéder à une évaluation de l’incidence algorithmique (« EIA »). L’EIA se présente sous la forme d’un questionnaire et permet d’évaluer et d’atténuer les risques qui peuvent découler d’un système de prise de décision automatisée⁵.

La réalisation d’une EIA permet à l’entreprise ou à l’organisme public ayant recours à un système de prise de décision automatisée de s’assurer qu’il traite des données de qualité, ne contenant pas de biais et qui sont à jour. De plus, le fait de connaître le fonctionnement de l’algorithme assure la transparence et permet d’expliquer aux personnes concernées la manière dont la décision est prise et en fonction de quelles données.

D’ailleurs, dans sa Directive sur la prise de décision automatisée⁶ (la « Directive »), le gouvernement du Canada prévoit l’obligation d’effectuer une EIA avant la production de tout système décisionnel automatisé. Cette Directive est applicable au gouvernement fédéral et s’applique notamment aux systèmes utilisés par ce dernier pour rendre des décisions administratives au sujet des individus. Elle prévoit également la nécessité pour le gouvernement de confirmer que les données recueillies et utilisées par le système décisionnel automatisé soient pertinentes, exactes et à jour.

L’empoisonnement de données

L’empoisonnement de données, souvent désigné Data Poisoning, est un type de cyberattaque qui consiste à modifier les données d’entraînement d’un algorithme d’intelligence artificielle⁷. L’objectif est simple : faire en sorte que les prédictions ou les décisions générées par l’algorithme soient incorrectes. Par exemple, une personne malveillante pourrait altérer la manière dont un algorithme classe les données. Ainsi, des données confidentielles pourraient se faire classer au mauvais endroit, et ne plus bénéficier des mesures de sécurité normalement associées aux données confidentielles.

Le danger avec ce type de cyberattaque est qu’il peut parfois s’écouler beaucoup de temps entre le moment où les données sont compromises et le moment où on s’en aperçoit. De plus, une fois que l’empoisonnement des données est découvert, il est souvent trop tard pour corriger la situation puisqu’il peut être difficile de savoir quelles données ont été altérées. C’est pourquoi il est important de s’assurer de mettre en place des mesures de sécurité adéquates dès les premières étapes de conception d’un système ayant recours à l’intelligence artificielle. Une mise en œuvre rapide des mesures de sécurité adéquates permettra la détection d’anomalies dans les données d’entraînement et assurera une prévention de ce type de cyberattaque.

La protection des renseignements personnels

Au moment de la conception d’un système de prise de décision automatisée, un enjeu important à considérer est le traitement de renseignements personnels. En effet, la collecte de renseignements personnels dans l’objectif de faire des prédictions au sujet d’une personne et/ou de rendre une décision à son égard est soumise à plusieurs obligations légales.

Prenons l’exemple du Règlement général sur la protection des données⁸ (le « RGPD »). Ce dernier assure la protection des renseignements personnels des individus au sein de l’Union européenne et encadre le recours au profilage ainsi qu’aux décisions entièrement automatisées⁹. Le RGPD prévoit que les individus ont le droit de ne pas faire l’objet d’une décision qui est fondée uniquement sur un traitement automatisé et qui produit des effets juridiques à leur sujet. Dans le cas où une personne fera l’objet d’une telle décision, il faut obtenir son consentement explicite. De plus, le RGPD prévoit plusieurs obligations de transparence pour les organisations lorsqu’une décision est rendue de manière entièrement automatisée, notamment la nécessité d’informer les personnes visées lors de la collecte de leurs renseignements personnels de l’existence d’une telle décision, de la logique derrière celle-ci ainsi que des conséquences prévues de la décision.

Au Québec, l’entrée en vigueur du projet de loi 64 ou la Loi modernisant des dispositions législatives en matière de protection des renseignements personnels permettra d’encadrer davantage le profilage ainsi que la prise de décision automatisée. Contrairement au RGPD, le projet de loi 64 ne prévoit pas un droit pour les individus de ne pas faire l’objet de décisions automatisées. Par ailleurs, lorsqu’une entreprise ou un organisme public utilisera des renseignements personnels afin de rendre une décision qui est fondée exclusivement sur un traitement automatisé de ceux-ci, la personne concernée devra en être informée. De plus, à la demande de la personne concernée, il faudra être en mesure de répondre aux questions suivantes :

Quels sont les renseignements personnels utilisés pour rendre la décision?
Quelles sont les raisons ainsi que les principaux facteurs et paramètres ayant mené à la décision?

Le projet de loi 64 prévoit également des droits pour les personnes concernées par une décision fondée exclusivement sur un traitement automatisé de leurs renseignements personnels. En effet, les entreprises et les organismes publics qui prennent de telles décisions devront permettre aux personnes concernées de faire rectifier les renseignements personnels qui sont utilisés pour rendre la décision. Les entreprises devront également permettre à la personne concernée de présenter ses observations à un membre du personnel de l’entreprise qui est en mesure de réviser la décision.

Le fait de ne pas informer la personne concernée que ses renseignements personnels ont été utilisés pour prendre une décision fondée exclusivement sur un traitement automatisé ou ne pas lui permettre de présenter ses observations à un membre du personnel de l’entreprise fera courir le risque de se voir imposer une sanction administrative pécuniaire (« SAP ») par la Commission d’accès à l’information. Dans cette situation, le montant maximal des sanctions sera de 50 000$ pour une personne physique et de 10 000 000$ ou 2% du chiffre d’affaires mondial pour une personne morale.

Conclusion

Les systèmes de prise de décision automatisée sont désormais pratiques courantes, tant dans le secteur public que privé. On en retrouve dans le secteur financier, dans le domaine de la santé, en marketing, en ressources humaines, dans les différents ministères, etc. Ces décisions ont donc le potentiel d’avoir des impacts importants dans la vie des gens et c’est pourquoi le processus décisionnel doit être encadré afin de limiter le plus possible les prédictions inexactes, la perpétration de biais et de stéréotypes ainsi que les autres risques de préjudices causés par un algorithme inadéquat.

Pour éviter ce type de situations malheureuses, il est important de se questionner sur tous ces enjeux avant la mise en place d’un système de prise de décision automatisée. Cela permettra de mettre en œuvre un système qui répond aux exigences attendues, tant au niveau de la qualité de l’algorithme, des mesures de sécurité qui sont prises ainsi qu’en matière de protection des renseignements personnels.

Enfin, s’il y a un principe essentiel à retenir lors du recours à un système de prise de décision automatisée, il s’agit de la transparence. Il est important d’être en mesure de bien comprendre le fonctionnement du système utilisé et les conséquences que les décisions prises auront pour les personnes concernées.

¹ Quand le logiciel de recrutement d’Amazon discrimine les femmes | Les Echos, consulté le 16 septembre 2021.
² Emploi, sécurité, justice : d’où viennent les « biais » des IA et peut-on les éviter ? (theconversation.com), consulté le 16 septembre 2021.
³ Voici le lien vers l’étude complète : Hidden Workers: Untapped Talent (hbs.edu), consulté le 14 septembre 2021.
⁴ De bons candidats sont écartés par des logiciels de recrutement | LesAffaires.com, consulté le 14 septembre 2021.
⁵ Pour en savoir plus sur l’EIA : Algorithmic Impact Assessment – Évaluation de l’incidence algorithmique (canada.ca), consulté le 15 septembre 2021.
⁶ Directive sur la prise de décisions automatisée : Directive sur la prise de décisions automatisée- Canada.ca (tbs-sct.gc.ca), consulté le 15 septembre 2021.
⁷ Pour en savoir plus sur le Data Poisoning : Data Poisoning: The Next Big Threat (securityintelligence.com), consulté le 20 septembre 2021.
⁸ Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données).
⁹ Pour en apprendre plus à ce sujet : Profilage et décision entièrement automatisée | CNIL, consulté le 15 septembre 2021.

Attention : Cette publication ne constitue pas un avis juridique. Il s’agit uniquement d’informations d’ordre général dans le but de vous tenir informés sur certains sujets. Nous vous invitons à consulter votre avocat pour toute question d’ordre juridique.

Article