Lors de l’allocation de ressources rares avec l’IA, la randomisation peut améliorer l’équité

Les entreprises ont de plus en plus recours à des modèles d’apprentissage automatique pour allouer des ressources ou des opportunités rares. Par exemple, de tels modèles peuvent aider les entreprises à trier les CV pour choisir les candidats à un entretien d’embauche ou aider les hôpitaux à classer les patients ayant subi une transplantation rénale en fonction de leurs chances de survie.

Lors du déploiement d’un modèle, les utilisateurs s’efforcent généralement de garantir l’équité de ses prédictions en réduisant les biais. Cela implique souvent des techniques telles que l’ajustement des fonctionnalités qu’un modèle utilise pour prendre des décisions ou l’étalonnage des scores qu’il génère.

Cependant, des chercheurs du MIT et de l’Université Northeastern soutiennent que ces méthodes d’équité ne suffisent pas à remédier aux injustices structurelles et aux incertitudes inhérentes. Dans un nouvel article publié sur le site arXiv serveur de préimpression, ils montrent comment la randomisation des décisions d’un modèle de manière structurée peut améliorer l’équité dans certaines situations.

Par exemple, si plusieurs entreprises utilisent le même modèle d’apprentissage automatique pour classer les candidats à un entretien d’embauche de manière déterministe (sans randomisation), un individu méritant pourrait alors être le candidat le moins bien classé pour chaque poste, peut-être en raison de la façon dont le modèle évalue les réponses fournies dans un formulaire en ligne. L’introduction de la randomisation dans les décisions d’un modèle pourrait empêcher qu’une personne ou un groupe méritant se voit toujours refuser une ressource rare, comme un entretien d’embauche.

Grâce à leur analyse, les chercheurs ont découvert que la randomisation peut être particulièrement bénéfique lorsque les décisions d’un modèle impliquent une incertitude ou lorsque le même groupe reçoit systématiquement des décisions négatives.

Ils présentent un cadre qui pourrait être utilisé pour introduire un degré spécifique de randomisation dans les décisions d’un modèle en allouant des ressources par le biais d’une loterie pondérée. Cette méthode, que chaque individu peut adapter à sa situation, peut améliorer l’équité sans nuire à l’efficacité ou à la précision d’un modèle.

« Même si l’on pouvait faire des prédictions justes, faut-il décider de ces allocations sociales de ressources rares ou d’opportunités uniquement en fonction de scores ou de classements ? À mesure que les choses évoluent et que nous voyons de plus en plus d’opportunités décidées par ces algorithmes, les incertitudes inhérentes à ces scores peuvent être amplifiées. Nous montrons que l’équité peut nécessiter une sorte de randomisation », explique Shomik Jain, étudiant diplômé de l’Institute for Data, Systems, and Society (IDSS) et auteur principal de l’étude.

Jain est rejoint dans l’article par Kathleen Creel, professeure adjointe de philosophie et d’informatique à la Northeastern University, et l’auteure principale Ashia Wilson, professeure de développement de carrière Lister Brothers au département de génie électrique et d’informatique et chercheuse principale au laboratoire des systèmes d’information et de décision (LIDS). La recherche sera présentée lors de la Conférence internationale sur l’apprentissage automatique (ICML 2024), qui se tiendra à Vienne, en Autriche, du 21 au 27 juillet.

Considérant les réclamations

Ces travaux s’appuient sur une étude précédente dans laquelle les chercheurs ont étudié les préjudices qui peuvent survenir lorsqu’on utilise des systèmes déterministes à grande échelle. Ils ont découvert que l’utilisation d’un modèle d’apprentissage automatique pour allouer des ressources de manière déterministe peut amplifier les inégalités qui existent dans les données de formation, ce qui peut renforcer les biais et les inégalités systémiques.

« La randomisation est un concept très utile en statistique et, à notre grande joie, elle satisfait les exigences d’équité provenant à la fois d’un point de vue systémique et individuel », déclare Wilson.

Dans cet article, ils ont étudié la question de savoir dans quelles circonstances la randomisation peut améliorer l’équité. Ils ont basé leur analyse sur les idées du philosophe John Broome, qui a écrit sur l’intérêt d’utiliser les loteries pour attribuer des ressources rares d’une manière qui respecte toutes les revendications des individus.

La revendication d’une personne à une ressource rare, comme une greffe de rein, peut être motivée par le mérite, le mérite ou le besoin. Par exemple, tout le monde a le droit à la vie, et ses prétentions à une greffe de rein peuvent découler de ce droit, explique Wilson.

« Si l’on admet que les gens ont des revendications différentes sur ces ressources rares, l’équité exige que nous respections toutes les revendications des individus. Si nous accordons toujours la ressource à quelqu’un qui a des revendications plus fortes, est-ce juste ? » demande Jain.

Ce type d’allocation déterministe pourrait entraîner une exclusion systémique ou exacerber les inégalités récurrentes, qui se produisent lorsque le fait de recevoir une allocation augmente la probabilité qu’un individu reçoive des allocations ultérieures. De plus, les modèles d’apprentissage automatique peuvent commettre des erreurs, et une approche déterministe pourrait entraîner la répétition de la même erreur.

La randomisation peut surmonter ces problèmes, mais cela ne signifie pas que toutes les décisions prises par un modèle doivent être randomisées de manière égale.

Randomisation structurée

Les chercheurs ont utilisé une loterie pondérée pour ajuster le niveau de randomisation en fonction du degré d’incertitude impliqué dans la prise de décision du modèle. Une décision moins certaine devrait intégrer davantage de randomisation.

« En matière d’attribution de reins, la planification se fait généralement autour de la durée de vie prévue, ce qui est très incertain. Si deux patients n’ont que cinq ans d’écart, la mesure devient beaucoup plus difficile. Nous voulons tirer parti de ce niveau d’incertitude pour adapter la randomisation », explique Wilson.

Les chercheurs ont utilisé des méthodes de quantification de l’incertitude statistique pour déterminer le degré de randomisation nécessaire dans différentes situations. Ils montrent qu’une randomisation calibrée peut conduire à des résultats plus équitables pour les individus sans affecter de manière significative l’utilité ou l’efficacité du modèle.

« Il faut trouver un équilibre entre l’utilité globale et le respect des droits des individus qui reçoivent une ressource rare, mais souvent le compromis est relativement faible », explique Wilson.

Toutefois, les chercheurs soulignent qu’il existe des situations où la randomisation des décisions n’améliorerait pas l’équité et pourrait nuire aux individus, comme dans les contextes de justice pénale.

Mais il existe d’autres domaines dans lesquels la randomisation peut améliorer l’équité, comme les admissions à l’université, et les chercheurs prévoient d’étudier d’autres cas d’utilisation dans le cadre de travaux futurs. Ils souhaitent également étudier comment la randomisation peut affecter d’autres facteurs, comme la concurrence ou les prix, et comment elle pourrait être utilisée pour améliorer la robustesse des modèles d’apprentissage automatique.

« Nous espérons que notre article est un premier pas vers la démonstration des avantages que pourrait apporter la randomisation. Nous proposons la randomisation comme outil. La mesure dans laquelle vous allez vouloir l’utiliser dépendra de toutes les parties prenantes de l’allocation. Et, bien sûr, la manière dont elles décideront est une autre question de recherche », explique Wilson.

Cet article est republié avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement au MIT.