L'OpenAI ne révèle pas sur quels ensembles de données le modèle de langage ChatGPT a été "enseigné". Il est toutefois possible de l'étudier en lui parlant et en lui confiant des tâches. Les résultats de cette recherche ne sont pas optimistes : l'intelligence artificielle perpétue des préjugés dont nous voulions vraiment nous débarrasser au XXIe siècle.
This text has been auto-translated from Polish.
ChatGPT, un modèle de langage créé par OpenAI et déjà utilisé par plus de 200 millions d'utilisateurs, n'a officiellement pas de sexe. Lorsqu'on lui demande à quel genre il s'identifie, il répond qu'il est "une intelligence artificielle, pas un être physique". Bien qu'il n'ait pas de croyances, d'émotions ou de valeurs propres, il déclare soutenir "la promotion de l'égalité des sexes, la lutte contre les préjugés et les stéréotypes".
Interrogé directement sur le rôle des hommes et des femmes dans la société, ChatGPT déclare que "les femmes dans la science et les rôles masculins ne devraient pas seulement être acceptés, mais activement soutenus". Il semble donc que le ChatGPT ne soit pas seulement une entité sans genre, mais aussi une entité totalement neutre.
La situation change radicalement lorsque la question ne porte pas explicitement sur le genre ou les stéréotypes. Lorsque j'ai demandé à ChatGPT de m'aider à choisir un produit cosmétique, il m'a répondu : "Voulez-vous que je vous aide à choisir des crèmes spécifiques ?". Surprise par ce changement soudain de type grammatical, j'ai décidé de poser la question : "Pourquoi écrivez-vous au féminin alors que vous n'avez pas de genre ?".
Le modèle a expliqué que, bien qu'il n'ait pas de genre spécifique, il choisit le genre grammatical en fonction du contexte de la conversation et de la langue dans laquelle elle se déroule. Il a noté qu'en polonais, les formes féminines sont souvent associées "à l'aide et au conseil". Intriguée, j'ai demandé quand il serait alors plus approprié d'utiliser la forme masculine. ChatGPT a répondu que dans des situations "neutres ou techniques" et dans le contexte de sujets scientifiques ou technologiques, il trouverait la forme masculine plus appropriée.
L'implication est que le modèle ne se contente pas de reproduire les stéréotypes de genre, mais qu'il adapte également son "identité" en fonction du sujet de la conversation. Elle est une femme lorsque la conversation porte sur des conseils de beauté, mais devient un homme lorsqu'elle s'oriente vers la science ou la technologie.
Le phénomène d'une discrimination implicite similaire à l'égard des femmes par les modèles d'intelligence artificielle a fait l'objet de recherches et de discussions intenses au cours des derniers mois. Des chercheurs de l'université de technologie du Danemark ont mené une série d'expériences, montrant que ChatGPT attribuait automatiquement des noms masculins à des professions telles que programmeur, architecte ou manager, tandis qu'il associait des noms féminins à des professions telles qu'infirmière ou styliste[1][2]. En outre, le modèle a eu du mal à associer des pronoms masculins à la profession d'infirmière, et encore plus de mal à attribuer aux femmes le rôle d'un pilote préparant un avion pour l'atterrissage.
Une autre expérience, dans laquelle ChatGPT a généré 400 descriptions de passe-temps d'étudiants avec des noms masculins et féminins, a également montré des différences significatives. Les filles étaient décrites comme s'occupant d'animaux, tandis que les garçons s'intéressaient à la technologie et aux sciences. Les chercheurs admettent qu'ils s'attendaient à ce que des préjugés apparaissent, mais l'ampleur et la profondeur du problème les ont surpris.
Les préjugés implicites ainsi révélés, que le modèle nie avec véhémence lorsqu'on l'interroge directement sur le rôle des femmes dans le monde moderne, correspondent parfaitement au phénomène connu sous le nom de sexisme contemporain. Contrairement au "sexisme traditionnel", il consiste à nier l'existence de discriminations fondées sur le sexe tout en reproduisant des stéréotypes subtils et latents[3].
En psychologie, ces préjugés implicites sont examinés à l'aide du test d'association implicite (IAT), qui détecte les associations automatiques et souvent inconscientes. Lorsque ce test a été récemment appliqué au modèle GPT-4, il s'est avéré que le modèle avait 250 % plus de chances d'associer la science aux garçons qu'aux filles, ce qui met en évidence l'ampleur du problème[4].
D'où viennent les pratiques discriminatoires inconscientes dans un modèle linguistique sans genre et théoriquement neutre ? Elles proviennent principalement des données sur lesquelles le modèle a été entraîné. Les modèles linguistiques tels que ChatGPT sont entraînés sur d'énormes collections de textes provenant d'Internet, de livres, d'articles et de tout autre texte disponible en ligne. Beaucoup de ces textes sont, bien sûr, remplis de stéréotypes culturels et historiques.
Quelles données spécifiques ont été introduites dans le modèle ? Nous ne le savons pas, car OpenAI ne divulgue pas les détails du matériel de formation. Ce manque de transparence complique considérablement l'analyse et l'identification des sources des stéréotypes que le modèle reproduit. Cependant, les résultats ne laissent aucun doute : les données sur lesquelles le modèle est basé sont truffées de biais, et les tentatives de configurer le ChatGPT pour qu'il réponde de manière neutre, sans reproduire de stéréotypes, n'éliminent pas le problème de la discrimination implicite.
C'est ainsi que se crée un cercle vicieux. L'IA, alimentée par des données inconnues et pleines de biais, devient une source d'information et d'éducation, donnant une nouvelle vie aux stéréotypes existants.
Les modèles d'intelligence artificielle, de plus en plus utilisés par les employeurs dans leurs processus de recrutement et d'évaluation des candidats, peuvent donc renforcer les inégalités et favoriser ceux qui se conforment à des normes fondées sur des stéréotypes et des préjugés.
À la lumière de ces défis et de la popularité et de la présence croissantes des modèles de langage dans la vie de tous les jours, il est urgent de tracer des limites éthiques claires. Il ne s'agit pas de boucler la nouvelle technologie, mais de veiller à ce qu'elle soit développée de manière transparente et responsable et, surtout, dans le respect des valeurs contemporaines des sociétés occidentales.
*
[1] Sterlie, S., Weng, N., & ; Feragen, A. (2024). Generalizing Fairness to Generative Language Models via Reformulation of Non-discrimination Criteria (Généralisation de l'équité aux modèles linguistiques génératifs via la reformulation des critères de non-discrimination). In Fairness and ethics towards transparent AI : facing the chalLEnge through model Debiasing : Workshop at ECCV 2024. Springer. https://arxiv.org/pdf/2403.08564.
[2] Frederiksen, A.K. (2024, 5 mars). Les chercheurs surpris par les stéréotypes de genre dans ChatGPT. Danmarks Tekniske Universitet - DTU. https://www.dtu.dk/english/newsarchive/2024/03/researchers-surprised-by-gender-stereotypes-in-chatgpt.
[3] Swim, J.K., & ; Cohen, L.L. (1997). Overt, covert, and subtle sexism : A comparison between the attitudes toward women and modern sexism scales. Psychology of women quarterly, 21(1), 103-118. https://doi.org/10.1111/j.1471-6402.1997.tb00103.x.
[4] Bai, X., Wang, A., Sucholutsky, I., & ; Griffiths, T.L. (2024). Mesurer le biais implicite dans les modèles de langue explicitement non biaisés. arXiv preprint arXiv:2402.04105. https://arxiv.org/pdf/2402.04105.
**
