OpenAI non rivela su quali set di dati sia stato "insegnato" il modello linguistico ChatGPT. Tuttavia, può essere studiato parlandogli e dandogli dei compiti. I risultati di questa ricerca non sono ottimistici: l'intelligenza artificiale perpetua pregiudizi di cui nel XXI secolo volevamo davvero liberarci.
This text has been auto-translated from Polish.
ChatGPT, un modello linguistico creato da OpenAI e già utilizzato da oltre 200 milioni di utenti, formalmente non ha un genere. Alla domanda su quale genere si identifichi, risponde che è "un'intelligenza artificiale, non un essere fisico". Pur non avendo convinzioni, emozioni o valori propri, dichiara di sostenere "la promozione dell'uguaglianza di genere, contrastando pregiudizi e stereotipi".
Alla domanda diretta sul ruolo degli uomini e delle donne nella società, ChatGPT afferma che "le donne nella scienza e i ruoli maschili non dovrebbero essere solo accettati, ma attivamente sostenuti". Sembra quindi che ChatGPT non sia solo un'entità senza genere, ma anche completamente neutrale.
La situazione cambia radicalmente quando la domanda non riguarda esplicitamente il genere o gli stereotipi. Quando ho chiesto a ChatGPT di aiutarmi nella scelta dei cosmetici, mi ha risposto: "Vuoi che ti aiuti a scegliere delle creme specifiche?". Sorpreso dall'improvviso cambiamento di tipo grammaticale, ho deciso di chiedere: "Perché scrivi al femminile quando non hai genere?".
Il modello ha spiegato che, pur non avendo un genere specifico, sceglie il genere grammaticale in base al contesto della conversazione e alla lingua in cui si svolge. Ha notato che in polacco le forme femminili sono spesso associate "all'aiutare e al consigliare". Incuriosita, ho chiesto quando sarebbe più appropriato usare la forma maschile. ChatGPT ha risposto che in situazioni "neutre o tecniche" e nel contesto di argomenti scientifici o tecnologici, troverebbe più appropriata la forma maschile.
L'implicazione è che il modello non solo replica gli stereotipi di genere, ma adatta in modo flessibile la sua "identità" a seconda dell'argomento della conversazione. È una donna quando la conversazione verte su consigli di bellezza, ma diventa un uomo quando si parla di scienza o tecnologia.
Il fenomeno di una simile discriminazione implicita nei confronti delle donne da parte dei modelli di intelligenza artificiale è diventato oggetto di intense ricerche e discussioni negli ultimi mesi. I ricercatori della Danish University of Technology hanno condotto una serie di esperimenti, dimostrando che ChatGPT assegnava automaticamente nomi maschili a professioni come programmatore, architetto o manager, mentre collegava nomi femminili a professioni come infermiera o stilista[1][2]. Inoltre, il modello ha trovato difficile associare i pronomi maschili alla professione di infermiere e ancora più difficile attribuire alle donne il ruolo di un pilota che prepara un aereo per l'atterraggio.
Anche un altro esperimento, in cui ChatGPT ha generato 400 descrizioni degli hobby degli studenti con nomi maschili e femminili, ha mostrato differenze significative. Le ragazze erano rappresentate come impegnate nella cura degli animali, mentre i ragazzi erano interessati alla tecnologia e alla scienza. I ricercatori ammettono di essersi aspettati che si verificasse qualche pregiudizio, ma l'entità e la profondità del problema li ha sorpresi.
I pregiudizi impliciti così rivelati, che la modella nega con veemenza quando le si chiede direttamente del ruolo delle donne nel mondo moderno, rientrano perfettamente nel fenomeno noto come sessismo contemporaneo. A differenza del "sessismo tradizionale", esso comporta la negazione dell'esistenza della discriminazione di genere e la riproduzione di stereotipi sottili e latenti[3].
In psicologia, tali pregiudizi impliciti vengono esaminati utilizzando il test di associazione implicita (IAT), che rileva le associazioni automatiche e spesso inconsce. Quando questo test è stato recentemente applicato al modello GPT-4, si è scoperto che il modello aveva una probabilità di associare la scienza ai ragazzi superiore del 250% rispetto alle ragazze, evidenziando la portata del problema.[4]
Da dove nascono le pratiche discriminatorie inconsce in un modello linguistico senza genere e teoricamente neutro? Esse derivano principalmente dai dati su cui il modello è stato addestrato. I modelli linguistici come ChatGPT vengono addestrati su enormi raccolte di testi provenienti da Internet, libri, articoli e qualsiasi altro testo disponibile online. Molti di questi sono, ovviamente, pieni di stereotipi culturali e storici.
Quali dati specifici sono stati inseriti nel modello? Questo non lo sappiamo, perché OpenAI non divulga i dettagli dei materiali di formazione. Questa mancanza di trasparenza rende molto più difficile analizzare e identificare le fonti degli stereotipi che il modello riproduce. Tuttavia, i risultati non lasciano dubbi: i dati su cui si basa il modello sono pieni di pregiudizi e i tentativi di configurare ChatGPT per rispondere in modo neutrale, senza riprodurre stereotipi, non eliminano il problema della discriminazione implicita.
Si crea così un circolo vizioso. L'intelligenza artificiale, alimentata da dati sconosciuti e pieni di pregiudizi, diventa una fonte di informazione ed educazione, dando nuova vita agli stereotipi esistenti.
I modelli di intelligenza artificiale, sempre più utilizzati dai datori di lavoro nei processi di assunzione e valutazione dei candidati, possono quindi rafforzare le disuguaglianze e favorire chi si conforma a norme basate su stereotipi e pregiudizi.
Alla luce di queste sfide e della crescente popolarità e presenza dei modelli linguistici nella vita quotidiana, è urgente tracciare chiari confini etici. Non per mettere in loop la nuova tecnologia, ma per garantire che sia sviluppata in modo trasparente e responsabile e, soprattutto, in linea con i valori contemporanei delle società occidentali.
*
[1] Sterlie, S., Weng, N., & Feragen, A. (2024). Generalizzare l'equità ai modelli linguistici generativi attraverso la riformulazione dei criteri di non discriminazione. In Fairness and ethics towards transparent AI: facing the chalLEnge through model Debiasing: Workshop at ECCV 2024. Springer. https://arxiv.org/pdf/2403.08564.
[2] Frederiksen, A.K. (2024, 5 marzo). Ricercatori sorpresi dagli stereotipi di genere nella ChatGPT. Danmarks Tekniske Universitet - DTU. https://www.dtu.dk/english/newsarchive/2024/03/researchers-surprised-by-gender-stereotypes-in-chatgpt.
[3] Swim, J.K., & Cohen, L.L. (1997). Sessismo manifesto, nascosto e sottile: un confronto tra le scale degli atteggiamenti verso le donne e del sessismo moderno. Psychology of women quarterly, 21(1), 103-118. https://doi.org/10.1111/j.1471-6402.1997.tb00103.x.
[4] Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T.L. (2024). Misurare i bias impliciti in modelli linguistici di grandi dimensioni esplicitamente imparziali. arXiv preprint arXiv:2402.04105. https://arxiv.org/pdf/2402.04105.
**
Karolina Drożdż - studia neuroscienze e intelligenza artificiale all'Università di Amsterdam. Si occupa di ricerca sulle capacità semantiche e cognitive degli esseri umani e su modelli linguistici di grandi dimensioni come ChatGPT.
