I rischi di discriminazione a seguito della interazione tra l’uomo e i sistemi di Intelligenza artificiale, presi in esame dalla Commissione Europea.

Il contesto

L’intelligenza artificiale (AI) sta diventando sempre più utilizzata in tutti i settori aziendali insieme ai progressi nella digitalizzazione (Eurostat 2024). Uno dei suoi ambiti di applicazione è quello di aiutare il processo decisionale umano in aree ad alto rischio come il prestito di credito e il reclutamento. L’intelligenza artificiale viene utilizzata nei sistemi di supporto alle decisioni (DSS) per prendere decisioni più rapide e coerenti in aree in cui il processo decisionale umano è influenzato da pregiudizi e limitazioni cognitive. 

Tuttavia, l’uso dell’intelligenza artificiale nei DSS solleva diverse questioni, una delle quali è che le sue decisioni potrebbero essere in conflitto con le norme di equità e potrebbero essere influenzate dai pregiudizi appresi della macchina.

Questi pregiudizi spesso corrispondono a quelli umani, il che significa che l’intelligenza artificiale comporta il rischio di perpetuare o addirittura amplificare la discriminazione contro gruppi di persone, basata ad esempio sulla nazionalità, sul genere o sulla razza.

Tale discriminazione è illegale ai sensi del Titolo 3 della Carta dei diritti fondamentali dell’Unione europea (2012).

La normativa di riferimento

L’Unione Europea ha quindi affrontato questo tema, e altri legati alla digitalizzazione, con un susseguirsi di interventi legislativi.

Il Regolamento generale sulla protezione dei dati conferisce il diritto a non essere sottoposto a una decisione basata esclusivamente sul trattamento automatizzato (articolo 22).

La legge sull’intelligenza artificiale richiede il controllo umano dell’intelligenza artificiale per prevenire o ridurre al minimo i rischi per i diritti fondamentali. L’articolo 14 prevede che i sistemi di IA siano progettati e sviluppati in modo tale da poter essere efficacemente supervisionati da persone fisiche.

Tra le altre disposizioni, il supervisore umano deve essere in grado di comprendere e interpretare pienamente l’AI 1 e deve avere la possibilità di non utilizzarlo.

La Direttiva sul lavoro su piattaforma affronta anche i rischi di discriminazione prevedendo il diritto di ottenere la revisione delle decisioni algoritmiche da parte di un essere umano (articolo 10).

Nel diritto europeo, ma anche in quello internazionale, il controllo umano è quindi sostenuto come una soluzione contro i rischi di una crescente dipendenza dagli strumenti algoritmici. I supervisori umani dovrebbero aumentare l’accuratezza e la sicurezza dei sistemi di intelligenza artificiale, sostenere i valori umani e creare fiducia nella tecnologia. Il controllo umano è una di una serie di misure diverse che dovrebbero garantire che i valori umani si riflettano nel processo decisionale e di conseguenza i diritti umani fondamentali, come il libero arbitrio, siano protetti.

Lo Studio condotto dalla commissione europea

Il lavoro prodotto dalla commissione Europea[1] è uno studio su larga scala che valuta l’impatto del controllo umano sulla lotta alla discriminazione nel processo decisionale assistito dall’intelligenza artificiale per compiti sensibili. Viene Utilizzato un approccio metodologico di ricerca misto, in un disegno esplicativo sequenziale in cui un esperimento quantitativo con professionisti delle risorse umane e bancarie in Italia e Germania (N = 1411) è seguito da analisi qualitative attraverso interviste e workshop con partecipanti volontari all’esperimento, esperti di intelligenza artificiale e politici. L’output della ricerca è che è altrettanto probabile che i supervisori umani seguano i consigli di un’IA generica discriminatoria come di un’IA programmata per essere giusta. Il controllo umano non impedisce la discriminazione quando viene utilizzata l’IA generica. Le scelte quando viene utilizzata un’intelligenza artificiale equa sono meno distorte dal genere ma sono comunque influenzate dai pregiudizi dei partecipanti. Le interviste con i partecipanti mostrano che danno priorità agli interessi della loro azienda rispetto all’equità e sottolineano la necessità di una guida sulle raccomandazioni prioritarie dell’IA. Gli esperti di Fair AI sottolineano la necessità di un approccio sistemico globale nella progettazione dei sistemi di supervisione.

Il contesto politico

La rapida adozione dell’intelligenza artificiale nei sistemi di supporto alle decisioni (DSS) ha suscitato preoccupazioni in termini di equità e pregiudizi demografici, in particolare in aree ad alto rischio come il credito e il reclutamento. Queste, insieme ad altre sfide etiche, hanno catalizzato una risposta normativa da parte dei politici dell’UE, culminata nell’adozione della legge sull’intelligenza artificiale, entrata in vigore nell’agosto 2024. Una pietra angolare della legge sull’intelligenza artificiale è il suo requisito di garantire efficaci meccanismi di controllo umano per sistemi di IA ad alto rischio costituiscono una salvaguardia essenziale per promuovere l’uso responsabile ed etico dell’IA attraverso la supervisione umana. La questione della non discriminazione è profondamente radicata anche nella legge sull’intelligenza artificiale, mentre la discriminazione è disciplinata nella Carta dei diritti fondamentali dell’UE. Ciò è evidente nel Considerando 67, che evidenzia i rischi di discriminazione derivanti dai sistemi di IA, in particolare per i gruppi vulnerabili come le minoranze etniche. Sottolinea il ruolo fondamentale di una governance dei dati di alta qualità nel prevenire la discriminazione, richiedendo formazione, convalida e test di set di dati che siano pertinenti, rappresentativi e il più possibile privi di errori e distorsioni. Mette inoltre in guardia contro i circoli viziosi nei sistemi di intelligenza artificiale che potrebbero amplificare le disuguaglianze esistenti. Inoltre, l’articolo 10 obbliga i fornitori di sistemi di IA ad alto rischio ad attuare solide pratiche di governance dei dati, compreso l’esame dei set di dati per individuare eventuali errori e l’adozione di misure per rilevare, prevenire e mitigare tali errori. Queste disposizioni sottolineano l’importanza politica dei seguenti aspetti:

• la trasparenza,

• il controllo umano,

• la non discriminazione nello sviluppo dell’IA.

Basandosi su queste basi, lo studio esplora il concetto di supervisione umana nelle decisioni sull’intelligenza artificiale – reazione e collaborazione – revisione e influenza sulle decisioni sull’intelligenza artificiale. Si sottolinea l’importanza:

• del monitoraggio continuo,

• della revisione post-implementazione,

• della capacità di ignorare le decisioni dell’IA quando necessario.

Questa prospettiva a doppia fase è essenziale per garantire che i meccanismi di supervisione siano sia proattivi che reattivi nell’affrontare le sfide del mondo reale.

Nel contesto della legge sull’AI, lo studio sembra essere particolarmente rilevante per colmare le attuali lacune nell’attuazione, in particolare per quanto riguarda pregiudizi e discriminazioni.

Le disposizioni sul controllo umano (articolo 14) sono fondamentali ma richiedono un’ulteriore messa in pratica per tradurre i loro principi in pratiche attuabili. Il lavoro ha mirato a guidare questa transizione, fornendo approfondimenti che possano informare gli standard e le linee guida futuri per un’efficace supervisione umana e la mitigazione dei pregiudizi. Inoltre, i risultati potrebbero svolgere un ruolo fondamentale nello sviluppo di sandbox normativi[2] per l’intelligenza artificiale, come previsto dalla legge sull’intelligenza artificiale. I sandbox offrono ambienti controllati per testare e perfezionare i sistemi di intelligenza artificiale sotto supervisione normativa, rendendoli piattaforme ideali per esplorare gli aspetti pratici del controllo umano, della governance dei dati e delle misure antidiscriminatorie. Inquadrando la supervisione all’interno di scenari del mondo reale e promuovendo un approccio olistico a livello di sistema che integri considerazioni tecniche e umane, miriamo a contribuire alla creazione di migliori pratiche che siano robuste e adattabili. Ciò è essenziale non solo per il rispetto della legge sull’intelligenza artificiale, ma anche per promuovere la fiducia del pubblico nei sistemi di intelligenza artificiale utilizzati in settori ad alto rischio.

Risultati principali

L’integrazione dell’intelligenza artificiale (AI) nei processi decisionali in settori come il credito e il reclutamento presenta sia opportunità che sfide significative. Lo studio sottolinea le complessità e i rischi associati al processo decisionale umano supportato dall’intelligenza artificiale, concentrandosi sui pregiudizi sia dell’intelligenza artificiale che dei supervisori umani. I risultati forniscono spunti cruciali per i policy maker volti a sviluppare solidi quadri di supervisione per mitigare questi rischi e garantire risultati equi e non discriminatori. 

1. Impatto delle norme organizzative sulla supervisione dell’intelligenza artificiale.

I supervisori spesso si conformano ai pregiudizi dell’intelligenza artificiale quando questi pregiudizi sono in linea con le norme e gli obiettivi organizzativi. Questo conformismo può perpetuare pratiche discriminatorie. Le politiche potrebbero integrare il controllo dell’IA con leggi e iniziative antidiscriminatorie più ampie, garantendo che le pratiche organizzative non supportino inavvertitamente processi decisionali distorti. I politici dovrebbero creare quadri integrati che affrontino sia le politiche antidiscriminatorie specifiche dell’IA che quelle più ampie.

2. Revisione e monitoraggio delle decisioni di ri-scrittura.

I supervisori umani a volte ignorano le decisioni di intelligenza artificiale in base ai propri pregiudizi, il che può contrastare i vantaggi di sistemi di intelligenza artificiale equi. Ciò suggerisce la necessità di implementare meccanismi per rivedere e monitorare le decisioni di ri-scrittura.

I risultati delle decisioni umane assistite dall’intelligenza artificiale dovrebbero essere controllati per rilevare e mitigare i pregiudizi. I sistemi di IA dovrebbero essere regolarmente rivisti su tale base per migliorarne l’equità e l’affidabilità. 

3. Processo decisionale umano e IA critico e complementare.

I supervisori umani apprezzano la loro capacità di valutare attributi sfumati e specifici del contesto dei candidati che l’IA potrebbe non catturare completamente. Ciò suggerisce la necessità di promuovere processi decisionali complementari tra intelligenza artificiale e uomo, in cui l’intelligenza artificiale assiste nell’elaborazione dei dati e gli esseri umani forniscono un giudizio contestuale. La trasparenza nei sistemi di intelligenza artificiale e le spiegazioni delle decisioni aiutano a promuovere tale input umano complementare. Il ruolo dei supervisori non dovrebbe limitarsi all’approvazione o meno delle decisioni sull’IA, ma dovrebbero esserci linee guida chiare per guidare il loro contributo in modo da non influenzare i risultati.

4. Meccanismi di feedback per l’apprendimento continuo.

I supervisori hanno bisogno di feedback per capire se le decisioni supportate dall’intelligenza artificiale sono corrette. È necessario un ciclo di feedback continuo tra i sistemi di intelligenza artificiale e i supervisori umani. Ciò incoraggerebbe l’apprendimento per rinforzo che combina il feedback umano e quello dell’intelligenza artificiale per migliorare i processi decisionali.

5. Monitoraggio dei risultati per l’equità.

La supervisione umana può introdurre distorsioni nelle decisioni supportate dall’intelligenza artificiale, rendendo necessario un solido monitoraggio dei risultati. Il monitoraggio dinamico e continuo dei risultati dell’IA garantirebbe che rimangano equi nel tempo. Le politiche che impongono di testare l’equità e l’affidabilità dei sistemi di intelligenza artificiale dovrebbero includere anche la verifica dei risultati delle decisioni supportate dall’intelligenza artificiale. Ciò garantirebbe che i sistemi di intelligenza artificiale siano equi ex post, dopo l’intervento umano, e non solo ex ante.

Conclusioni principali

 Lo studio rivela che i sistemi decisionali supportati dall’intelligenza artificiale, se combinati con la supervisione umana, possono sia perpetuare che mitigare i pregiudizi.

Le politiche esistenti spesso presuppongono che il controllo umano contrasterà automaticamente i pregiudizi dell’IA.

Lo studio ribalta tale presupposto, evidenziando che i pregiudizi umani possono anche influenzare i processi decisionali, in particolare i risultati, anche quando i sistemi di intelligenza artificiale sono progettati per essere equi.

Inoltre, lo studio illustra come i pregiudizi umani e quelli algoritmici possano intersecarsi anziché annullarsi a vicenda. La supervisione umana, sebbene essenziale, potrebbe non correggere completamente i risultati di un’intelligenza artificiale distorta e potrebbe introdurre ulteriori pregiudizi.  Questi risultati evidenziano la necessità di miglioramenti nei sistemi di supervisione dell’IA, passando da una supervisione individuale a un sistema integrato progettato per mitigare i pregiudizi umani. La supervisione dovrebbe andare oltre i singoli revisori o la programmazione di algoritmi di intelligenza artificiale equi; dovrebbe comprendere l’equità sistemica, coinvolgendo le parti interessate in tutto il ciclo di vita dell’IA per affrontare sia la dimensione tecnica che quella sociale.

Una supervisione efficace richiede linee guida che aiutino i decisori a determinare quando ignorare le raccomandazioni dell’IA, sistemi che monitorino i risultati assistiti dall’intelligenza artificiale per identificare i pregiudizi emergenti e meccanismi che consentano agli utenti di giustificare la ri-scrittura.

I decisori dovrebbero avere accesso ai dati sulle loro prestazioni e sui loro pregiudizi, e i sistemi di intelligenza artificiale dovrebbero essere regolarmente valutati sulla base del feedback degli utenti. Esperti e politici hanno sottolineato la necessità di valutare i risultati nel mondo reale delle interazioni uomo-intelligenza artificiale piuttosto che il semplice rispetto delle regole. Queste raccomandazioni mirano a migliorare le prestazioni, l’equità e l’accettabilità dei sistemi di supporto decisionale assistiti dall’intelligenza artificiale.

Quali insegnamenti devono trarre i titolare dei trattamenti che intendano utilizzare sistemo di IA nei sistemi di supporto alle decisioni (DSS)

Si potrebbe intuitivamente pensare che la sorveglianza umana possa essere utilizzata per contrastare i pregiudizi dell’intelligenza artificiale. Tuttavia, questo approfondimento, che combina ricerca quantitativa e qualitativa, racconta una storia diversa

Infatti, da questo studio emergono tre punti negativi:

▪︎ è altrettanto probabile che i supervisori umani seguano i consigli dei sistemi di intelligenza artificiale, indipendentemente dal fatto che siano programmati per essere equi o meno;
▪︎ L’uso di un’intelligenza artificiale “equa”, ad esempio, ha ridotto i pregiudizi di genere, ma non ha eliminato l’influenza dei pregiudizi umani preesistenti nel processo decisionale;

▪︎ I professionisti mettono al primo posto gli interessi dell’azienda a discapito dell’equità.

le azioni da intraprendere:

1. La necessità di passare dalla sorveglianza individuale a un sistema integrato progettato per combattere i pregiudizi umani e dell’IA, basato su un approccio interdisciplinare:
• Misure tecniche per garantire che i sistemi di IA siano progettati e aggiornati tenendo conto dell’equità;
• Strategie organizzative per promuovere una cultura che dia priorità all’equità e fornisca formazione sulla gestione degli strumenti di AI; • Interventi politici che stabiliscano linee guida chiare per la collaborazione uomo-IA.

---

[1] L’impatto dell’interazione uomo-intelligenza artificiale sulla discriminazione Un ampio caso di studio sulla supervisione umana dei sistemi di supporto decisionale basati sull’intelligenza artificiale negli scenari di prestito e assunzione. Link:

https://rm.coe.int/study-on-the-impact-of-artificial-intelligence-systems-their-potential/1680ac99e3

[2] Una regulatory sandbox permette alle imprese di sviluppare, testare e validare modelli di Intelligenza Artificiale in un contesto reale, ma sotto la supervisione delle autorità competenti. In Italia, probabilmente saranno AGID e ACN a svolgere questo ruolo.