GDPR, AI ACT e processo decisionale automatizzato

Dopo una procedura durata più di tre anni, il 13 giugno 2024 è stato finalmente approvato e formalmente firmato il nuovo Regolamento europeo (UE) 2024/1689 che stabilisce norme armonizzate sull’intelligenza artificiale, solitamente denominato “AI Act”. Si è trattato di un atto normativo atteso da tempo ed estremamente complesso, non solo per l’oggetto, ma anche perché si colloca al centro di un universo normativo già esistente (e ancora incompiuto) sulla governance dei dati e l’IA che informa la strategia digitale dell’Unione europea, come delineato nel 2020 in una comunicazione formale della Commissione europea al Parlamento europeo, al Consiglio, al Comitato economico e sociale europeo e al Comitato delle regioni1.

Sebbene già in vigore, la completa applicazione dell’AI Act è stata posticipata al 2 agosto 2026, consentendo alle parti interessate di prepararsi per una piena conformità. Nel frattempo, alcune parti dell’Atto riceveranno un’applicazione progressiva, creando tutte le istituzioni di governance specifiche e gli strumenti tecnici previsti dal Regolamento.

L’elevata complessità dell’AI Act è stata aggravata dalle modifiche che ha subito durante la procedura di approvazione: da aprile 2021, momento della prima proposta della Commissione, molto è accaduto nella tecnologia dell’IA rendendo il Regolamento a rischio di essere gravemente obsoleto fin dall’inizio2.

Poiché l’AI Act riconosce esplicitamente molti altri atti normativi europei e dato il fatto che l’IA potrebbe in linea di principio essere implementata in molti campi specifici con i propri regolamenti, la comunità giuridica sarà impegnata in un bel po’ di lavoro difficile per dare un senso unitario a tale universo normativo. Infatti, oltre alle numerose problematiche interpretative di una normativa di per sé così complessa, i problemi applicativi più gravi saranno determinati dall’intersezione di queste molteplici normative nelle nuove dinamiche socio-economiche che la tecnologia è destinata a determinare.

Naturalmente, uno dei regolamenti più importanti con cui l’AI Act è destinato a interagire è il Regolamento generale sulla protezione dei dati (Reg. UE 2018/679, di seguito anche “GDPR”) e, di fatto, l’AI Act afferma esplicitamente che deve essere applicato “senza alcun pregiudizio” alla sua applicazione3.

Pertanto, l’AI Act dovrebbe integrare il GDPR quando il sistema di IA viene utilizzato per elaborare “dati personali” (il che ovviamente non è sempre il caso) nella costruzione di un quadro giuridico generale. Di conseguenza, devono essere coerenti tra loro al fine di prevenire carenze normative.

Uno dei punti principali dell’AI Act è la prescrizione obbligatoria di progettare e sviluppare sistemi di IA ad alto rischio (HR) in modo da garantire la supervisione umana durante il periodo di utilizzo4. Questa disposizione mira a realizzare l’approccio “human-in-command” continuamente raccomandato ed è un requisito cruciale per garantire ai sistemi di IA non solo la conformità legale ma anche etica5. Un sistema di intelligenza artificiale è definito come un “sistema basato su una macchina progettato per funzionare con diversi livelli di autonomia e che può mostrare adattabilità dopo l’implementazione e che, per obiettivi espliciti o impliciti, deduce, dall’input che riceve, come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali”

6.

Questo documento riguarda i sistemi di intelligenza artificiale che producono decisioni e come l’art. 14 dell’AI Act che richiede misure obbligatorie di supervisione umana influisce sull’interpretazione consolidata dell’art. 22 del GDPR sulle decisioni basate esclusivamente sull’elaborazione automatica dei dati. Ipotizzerò uno scenario di riferimento in cui entrambe le normative sono teoricamente applicabili, ovvero nel caso di un sistema AI HR che elabora dati personali e prende decisioni che producono effetti legali su un soggetto o lo influenzano in modo significativo (ne parleremo più avanti). Il resto di questo documento è strutturato come segue: prima richiamerà brevemente la disciplina giuridica europea sul processo decisionale automatico come affermato nel GDPR (§ 2); poi discuterà il principio di supervisione umana (HOP) come previsto dall’AI Act dimostrando che l’interazione con il GDPR, come solitamente interpretato sul punto, è probabile che determini una ridotta protezione dell’interessato, (§§ 3-4); e infine, sulla base della discussione precedente, sosterrà un’interpretazione diversa e più precisa dell’art. 22 del GDPR affinché le persone che interagiscono con strumenti decisionali basati sull’intelligenza artificiale possano trarre vantaggio da una protezione completa, realizzando così meglio l’obiettivo principale di costruire uno sviluppo tecnologico antropocentrico (§§ 5-6)7.

Decisioni automatiche nell’art. 22 del GDPR

Negli ultimi anni, il Regolamento generale sulla protezione dei dati è stato uno dei regolamenti più studiati e discussi nel campo giuridico europeo: non solo ha avuto un impatto su quasi tutti i settori economici e sociali, ma, con il continuo miglioramento della tecnologia, sono aumentate di conseguenza anche le sfide interpretative.

Per quanto riguarda il processo decisionale completamente automatico (ADM), il GDPR offre la disciplina principale nell’art. 22, che è stato ampiamente discusso nella letteratura accademica. Ai fini della discussione qui proposta, è utile ricordare almeno i punti principali di tale quadro8.

L’art. 22, § 1 del GDPR, afferma che L’interessato ha il diritto di non essere sottoposto a una decisione basata esclusivamente sul trattamento automatizzato, inclusa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona. Sebbene inquadrata come un diritto dell’interessato, gli studiosi concordano sul fatto che, in conformità con il principio della privacy by design, la disposizione dovrebbe essere letta come un divieto rivolto principalmente al titolare del trattamento dei dati

Questo approccio restrittivo non esclude eccezioni significative in cui l’ADM può essere legittimo, ma dovrebbero essere adottate alcune misure di salvaguardia aggiuntive per proteggere i diritti dell’interessato.10

Vale la pena notare che il processo decisionale completamente automatico non è vietato di per sé, ma solo perché implica una modifica della situazione giuridica riguardante il destinatario o lo colpisce “in modo significativamente simile”.

Chiamiamo questo livello di applicazione “la soglia”: il processo decisionale automatico è vietato solo quando supera la soglia.

Quindi, per quanto riguarda l’approccio GDPR all’ADM, il quadro è abbastanza chiaro, almeno teoricamente: in linea di principio, sono vietati finché sono a) completamente automatizzati; b) producono effetti giuridici o; b1) influenzano l’interessato (la soglia) in modo simile e significativo.

Le questioni interpretative sono correlate a ciascuno dei punti evidenziati. Discutiamoli brevemente:

a) Completamente automatizzato

È generalmente riconosciuto che affinché una decisione non sia basata esclusivamente sul trattamento automatico dei dati, l’intervento umano dovrebbe essere rilevante. In altre parole, l’essere umano che interviene dovrebbe avere la competenza e l’autorità di cambiare la decisione quando questo è il caso. Vale la pena notare che questo punto non è esplicitamente affermato nell’articolo 22, ma è il risultato dell’interpretazione data al testo fin dalle prime discussioni sul nuovo GDPR11

Talvolta l’articolo 22 è stato criticato principalmente perché sostiene una visione piuttosto limitata del ruolo degli esseri umani nei sistemi decisionali complessi. Infatti, per escludere la completa automazione della procedura, questa interpretazione richiede una presenza umana nella fase finale dell’elaborazione, prima che la decisione venga effettivamente implementata, con l’autorità di confermare o modificare l’output raggiunto dalla macchina. Di conseguenza, un sostanziale intervento umano nelle fasi precedenti sembra essere irrilevante, il che è discutibile12. Inoltre, è stato notato che nei casi in cui i sistemi intelligenti hanno superato le capacità umane13, l’essere umano coinvolto sarebbe più probabilmente incline a confermare la decisione presa dalla macchina, sia perché il giudizio potrebbe essere influenzato dal cosiddetto pregiudizio dell’automazione14, sia semplicemente perché potrebbe essere

per cui uno strumento accurato deve, in un caso specifico, essere modificato

15.

b) e b1) La soglia

Affinché il divieto di cui all’art. 22 GDPR si applichi, la decisione presa dalla macchina deve avere un impatto significativo sull’interessato in un modo che o produce una modifica formalmente rappresentabile della sua condizione giuridica (b) o influisce significativamente sulla condizione del destinatario, anche se non vi è alcun obbligo giuridicamente vincolante per il soggetto che decide (b1). Esempi di quest’ultima situazione sono il reclutamento online e il rifiuto automatico della domanda di credito come indicato nel Considerando 71. Naturalmente, questi esempi sono ben lontani dall’offrire un’interpretazione chiara di questa parte dell’articolo 22, § 1 per una domanda sicura e senza controversie. Infatti, se il principio è il divieto di decisioni automatiche che “influiscono significativamente” sul destinatario, possono esserci casi simili a quelli indicati come esempi che potrebbero non essere necessariamente superiori a questa soglia. Ad esempio, una domanda di credito per l’acquisto di gadget costosi e non necessari solo per intrattenimento. Ciò apre la strada a una valutazione caso per caso.

Come anticipato, il divieto generale ha tre eccezioni indicate nel §2: una è il caso di un Regolamento dell’UE o di uno Stato membro (lett. b); le altre due sono situazioni che sono nelle mani delle parti, l’interessato e il titolare del trattamento (lett. a, c), vale a dire, la decisione è necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento (a); la decisione è autorizzata con il consenso dell’interessato (c). Come possiamo vedere, le eccezioni non sono tutte sullo stesso piano, ed è per questo che le ho presentate, separando i casi in cui l’automazione è autorizzata da un atto giuridico (dall’UE o dallo Stato membro) dagli altri, sottolineando il fatto che questi ultimi sono sotto il controllo delle parti. In altre parole, e questo è degno di nota, il GDPR consente alle parti di decidere autonomamente di utilizzare strumenti ADM – anche oltre la soglia – nel loro rapporto. Si tratta di un importante riconoscimento della loro autonomia, sebbene la complessità della nostra società contemporanea richieda un alto livello di consapevolezza e responsabilità nel prendere questo tipo di decisioni.

c) Le misure di salvaguardia aggiuntive

Per tutti i casi eccezionali, devono essere implementate alcune “misure di salvaguardia” per proteggere i diritti e gli interessi legittimi dell’interessato. In particolare, nei casi a) e c) – quelli lasciati all’autonomia delle parti – si tratta di un obbligo specifico del titolare del trattamento. Mentre, nel caso di un’autorizzazione statutaria, questo requisito deve essere soddisfatto dall’atto normativo che autorizza la decisione automatica16.

Inoltre, le misure previste dovrebbero mirare a proteggere i “diritti, le libertà e gli interessi legittimi” dell’interessato17.

Come possiamo vedere, si tratta di un requisito piuttosto esigente, il cui oggetto è anche molto ampio e spazia dai “diritti” alle “libertà”, agli “interessi legittimi”. La ratio legis sembra risiedere nell’obiettivo di attribuire al titolare del trattamento (o al legislatore UE/dello Stato membro) la responsabilità di prendersi cura pienamente dell’interessato che dovrebbe essere la parte più esposta alle potenziali conseguenze dannose dell’ADM. Su questo punto vedremo un approccio diverso nell’AI Act, il che sarà motivo di preoccupazione.

Le misure di salvaguardia minime che il titolare del trattamento dovrebbe attuare sono indicate nell’art. 22, §3, GDPR, e assumono la forma di alcuni diritti aggiuntivi: richiedere un intervento umano; esprimere la propria opinione; e contestare la decisione.

L’elenco dei diritti è molto più lungo nel Considerando 71, che offre un primo aiuto ermeneutico per leggere l’art. 22. Infatti, include anche il diritto a “specifiche informazioni all’interessato”, e a ottenere “una spiegazione della decisione”. Entrambi dovrebbero fornire all’interessato una comprensione più approfondita e specifica di quanto accaduto rispetto alle informazioni ex ante ricevute in ottemperanza agli obblighi di informazione previsti dagli artt. 13 e 14.

Il fatto che l’attuale formulazione dell’art. 22, GDPR fornisca un elenco più breve di misure di salvaguardia minime ha sollevato una controversia dottrinale sull’esistenza nel GDPR di un diritto alla spiegazione (completa) delle decisioni algoritmiche18, nonché sul modo in cui tali diritti aggiuntivi dovrebbero funzionare insieme.19 Questo, tuttavia, non è il problema in questione.

Invece, è più interessante riflettere sulla visione completa approvata dal GDPR sull’intervento umano.

Pertanto, nel quadro dell’art. 22 GDPR, la partecipazione umana a una decisione presa da una macchina è rilevante in almeno due modi.

Se un essere umano qualificato interviene prima che la decisione venga presa o implementata, questa non è una decisione completamente automatizzata e non rientra nell’art. 22. Per ribadire: questo non è affermato nel GDPR, è il modo in cui l’art. 22, §1 è stato interpretato finora. La preoccupazione principale che ha portato a questo è stata la paura di una facile elusione del divieto, semplicemente mettendo un dipendente a leggere semplicemente l’output della macchina senza avere diritto ad alcuna modifica. Ma questa interpretazione ha una lacuna: si basa sulla mera presenza di un essere umano qualificato per escludere la piena automazione e non su un’attività specifica o sulla partecipazione al processo decisionale. In altre parole, la decisione può essere effettivamente presa totalmente dalla macchina e tuttavia non essere qualificato come completamente automatizzato solo perché un essere umano qualificato era in qualche modo lì, anche se ha agito come un timbro

20.

D’altra parte, un essere umano qualificato può intervenire dopo che la decisione è stata presa e implementata se invocato dall’interessato. In questo caso, l’intervento umano dovrebbe essere una misura di salvaguardia. Quindi, anche se non ci sono prescrizioni obbligatorie su cosa l’essere umano interveniente dovrebbe fare, dovrebbe prendersi cura dei diritti, delle libertà e degli interessi legittimi dell’interessato.

Come tale, questo è solo uno dei diritti minimi da riconoscere all’interessato e condivide il suo potenziale difensivo con altri, in particolare con il diritto di contestare la decisione. L’importanza di tale diritto è stata evidenziata nella letteratura recente, tanto che alcuni autori hanno sostenuto l’esistenza di un principio di contestabilità per progettazione nel GDPR21.

Ora, passiamo al principio di supervisione umana nell’AI Act.

Il principio di supervisione umana (HOP)

L’HOP è regolamentato dall’art. 14 dell’AI Act ed è incluso nel Capitolo III, Sezione 2, che prevede i requisiti per i sistemi di intelligenza artificiale ad alto rischio. Ciò significa che è strettamente obbligatorio solo per quei tipi di sistemi di intelligenza artificiale22. Tuttavia, le Linee guida etiche per un’IA affidabile pubblicate dall’High-Level Experts Group on Artificial Intelligence istituito dalla Commissione europea nel 2019, considerano il principio della supervisione umana come uno dei sette principali requisiti generali derivati ​​direttamente dai quattro principi per un’IA affidabile23. Pertanto, da un punto di vista etico, dovrebbe essere implementato in tutti i sistemi di intelligenza artificiale. Tale documento definisce tre modi principali per dare forma pratica all’HOP: il modello Human In The Loop (HITL), Human On The Loop (HOTL) e Human In Command (HIC)24. Apparentemente, l’approccio dell’AI Act sull’argomento sembra approvare una fusione dei modelli HOTL e HIC: HOTL si riferisce alla capacità di intervento umano durante il ciclo di progettazione del sistema e al monitoraggio del funzionamento del sistema. HIC si riferisce alla capacità di supervisionare l’attività complessiva del sistema AI e alla capacità di decidere quando e come utilizzare il sistema in una determinata situazione25.

Secondo l’art. 14 dell’AI Act, i sistemi AI HR dovrebbero essere progettati e sviluppati in modo tale da essere supervisionati da persone fisiche al fine di prevenire o ridurre al minimo il rischio per la salute, la sicurezza o i diritti fondamentali durante l’uso o l’uso improprio ragionevolmente prevedibile del sistema AI; l’implementazione dovrebbe essere commisurata ai rischi, al contesto e al livello di autonomia del sistema. Mediante misure appropriate individuate dal fornitore del sistema, il distributore dovrebbe assegnare la supervisione umana a una persona fisica competente in grado di monitorare, comprendere le capacità e i limiti del sistema, rimanere consapevole del pericolo di “bias di automazione”, interpretare correttamente l’output, decidere di non utilizzare il sistema di IA o di ignorare o invertire l’output, intervenire nel funzionamento o arrestare il sistema. Infine, in caso di identificazione biometrica remota, non dovrebbe essere intrapresa alcuna azione a meno che l’output non sia confermato da due persone fisiche competenti

26.

Pertanto, qualunque sia la funzione del sistema, qualunque sia l’output, deve sempre esserci un monitoraggio umano, la cui posizione e scopo sembrano essere molto simili (e, in realtà, persino più ampi) a quelli a cui si riferisce l’attuale interpretazione dell’art. 22 GDPR per qualificare un intervento umano come in grado di escludere la completa automazione della decisione. La riga in corsivo sopra, in particolare, sembra colpire il punto preciso di ciò che serve a un essere umano per essere sufficientemente competente da evitare l’applicazione dell’art. 22.

Per chiarire meglio il concetto, nel caso di una decisione presa da un sistema AI HR basato esclusivamente su dati personali, i requisiti stabiliti dall’art. 14 AI Act sembrano impedire sistematicamente l’applicazione dell’art. 22 GDPR.

Pertanto, ciò porta alla conclusione che i sistemi AI ad alto rischio non possono mai essere utilizzati per produrre decisioni completamente automatizzate ai sensi dell’articolo 22 GDPR stesso.

A prima vista, questa conclusione può sembrare piuttosto rassicurante. Dopotutto, i sistemi HR sono quelli che dovrebbero mettere maggiormente a repentaglio la sicurezza, la salute e i diritti fondamentali, quindi il monitoraggio umano continuo è un modo per assicurare ai destinatari che qualcuno si sta prendendo cura di loro.

Tuttavia, la disapplicazione dell’art. 22 GDPR comporta anche l’impossibilità di ricorrere all’intera protezione progettata in tale articolo, che include – da un lato – alcune misure di salvaguardia peculiari e – dall’altro – un insieme molto più ampio di aspetti sensibili del destinatario di cui tenere conto.

Inoltre, come abbiamo visto in precedenza, nell’art. 22 GDPR la possibilità di utilizzare sistemi decisionali completamente automatizzati può dipendere (dal legislatore europeo o dello stato membro o) dalle parti stesse, lasciando alla loro autonomia la valutazione della situazione in termini di vantaggi, efficacia delle misure di salvaguardia come implementate dal titolare del trattamento e così via. Quando nulla del genere si applica più, il destinatario gode almeno dello stesso livello di protezione? L’autonomia delle parti è ancora rafforzata

Confronto dei livelli di protezione

Successivamente, quando si tratta di utilizzare sistemi ADM che elaborano dati personali, l’AI Act sostiene la posizione secondo cui i sistemi di misura di salvaguardia, poiché tutte le altre prescritte dall’art. 22 GDPR, a questo punto non sono più disponibili.

Ci sono almeno due punti che devono essere evidenziati qui.

In primo luogo, ciò di cui è responsabile la persona fisica incaricata della supervisione umana, secondo l’art. 14 della legge sull’IA, è molto meno di ciò che si suppone sia protetto dalle misure di salvaguardia che devono essere istituite in base all’art. 22 GDPR.

Infatti, nel primo caso, si suppone che l’uomo al comando sia presente per prevenire o ridurre al minimo i rischi per la sicurezza, la salute e i diritti fondamentali in generale che possono essere compromessi durante l’uso del sistema o il suo prevedibile uso improprio27.

Naturalmente, possiamo facilmente presumere che questa disposizione, sebbene enunciata in termini generali, includa la considerazione di quegli aspetti anche con riferimento a uno specifico destinatario di una decisione automatizzata quando questo è il caso.

Ora, la sicurezza e la salute sono diritti fondamentali, quindi la formula utilizzata nella legge sull’IA può essere ridotta senza limitare il contenuto cognitivo e normativo, ai diritti fondamentali, mentre questi sono effettivamente diritti di base. Ma questo è ben diverso da quanto prescrive l’art. 22 GDPR: lì l’obiettivo delle misure è salvaguardare “i diritti, le libertà e i legittimi interessi” dell’interessato28

intelligenza artificiale ad alto rischio possono prendere decisioni, anche così invasive da essere al di sopra della soglia, e seguendo l’attuale interpretazione dell’art. 22 GDPR, dovremmo concludere che l’HOP deve essere considerato un sufficiente Pertanto, la formula utilizzata nel GDPR è più ampia in termini di portata e contenuto e più precisamente adattata al destinatario della decisione.

E poiché una delle misure di salvaguardia che può essere invocata dall’interessato è un intervento umano, possiamo concludere che, seguendo la disciplina dell’art. 22 GDPR, il destinatario di una decisione automatizzata può, teoricamente, godere di una valutazione completa della sua condizione personale come determinata dalla macchina con una persona fisica specificamente dedicata a questo29.

Invece, la formulazione dell’art. 14 AI Act sembra indulgere in un approccio più formale e legalistico, dove l’essere umano è lì per garantire una sorta di conformità generale.

Ma c’è di più, e questo è il secondo punto.

L’art. 22 GDPR, assicura anche un diritto di esprimere la propria opinione che non è molto protettivo ma anche un diritto di contestare la decisione che è stato preso molto seriamente nella recente letteratura30. La ragione principale della rivalutazione del diritto di contestazione è proprio la necessità di far rispettare la ratio legis, ovvero la tutela dei “diritti, libertà e interessi legittimi” dell’interessato. Una contestazione è più di una semplice opinione, è un atto difensivo che include alcuni requisiti per essere efficace. Uno di questi è il diritto di ricevere informazioni specifiche su come è accaduto che il caso sia stato deciso in un certo modo. Non si può contestare efficacemente del titolare del trattamento parecchio

31.

La rivalutazione del diritto di contestare la decisione è stata vista come la via interpretativa corretta per risolvere i dubbi sull’esistenza nel GDPR di un diritto alla spiegazione della decisione, che sebbene riconosciuto nel Considerando 71, non è menzionato nell’art. 22.

Curiosamente, l’AI Act prevede un diritto alla spiegazione (art. 86) ma non un diritto di contestazione.

Il fatto è che dopo l’approvazione del GDPR, l’attenzione al valore della spiegabilità delle decisioni automatizzate è aumentata notevolmente, con suggerimenti provenienti non solo dal mondo accademico con le discussioni citate, ma anche da tribunali nazionali e istituzioni europee lungo il loro percorso di costruzione dell’attuale quadro normativo.

Un esempio significativo di decisione giudiziaria che sancisce l’esigenza di spiegabilità è la sentenza della massima autorità amministrativa italiana, del 2019, che riconosce che, nell’ambito della valutazione di legittimità dell’azione amministrativa che si è avvalsa di strumenti algoritmici complessi, “la conoscibilità dell’algoritmo deve essere garantita in tutti gli aspetti: dai suoi autori alla procedura utilizzata per la sua elaborazione, al meccanismo decisionale, comprese le priorità assegnate nel procedimento di valutazione e decisione e i dati selezionati come rilevanti. Ciò al fine di poter verificare che i criteri, i presupposti e gli esiti della procedura robotizzata siano conformi alle prescrizioni e alle finalità stabilite dalla legge o dall’amministrazione stessa a monte di tale procedura, e che le modalità e le regole in base alle quali è stata predisposta siano chiare – e conseguentemente soggette a revisione”32. Al contrario, le già citate Linee guida etiche per un’IA affidabile approvano il principio di spiegabilità, ovvero “i processi devono essere trasparenti, le capacità e lo scopo dei sistemi di IA devono essere comunicati apertamente e le decisioni, nella misura del possibile, spiegabili a coloro che sono direttamente e indirettamente interessati. Senza tali informazioni, una decisione non può essere debitamente contestata”33. Si noti che entrambi questi documenti collegano correttamente il principio di spiegabilità alla revisione e alla contestazione Infine, il diritto alla spiegazione è stato introdotto nell’AI Act.

Quindi, ironicamente, nessuna delle misure di salvaguardia espressamente prescritte dall’art. 22 GDPR è inclusa nell’AI Act, mentre la più dubbia sì!

Ma anche in questo caso, sebbene la formulazione dell’art. 86 faccia chiaro riferimento a quella dell’art. 22 GDPR, la protezione riconosciuta sembra essere piuttosto scarsa se confrontata sia alla formulazione del diritto alla spiegazione adottata dagli studiosi in

la loro discussione sull’art. 22 e le esigenze esplicative incluse – dinamicamente – nel diritto di contestazione.

Innanzitutto, il diritto alla spiegazione come previsto dall’art. 86 AI Act si applica ai sistemi HR ma non a tutti: sono esclusi i sistemi AI destinati a essere utilizzati come componenti di sicurezza nella gestione e nel funzionamento di infrastrutture digitali critiche, traffico stradale o nella fornitura di acqua, gas, riscaldamento o elettricità.

In secondo luogo, sebbene si riferisca a decisioni che producono effetti giuridici o che influenzano in modo significativo una persona (la stessa soglia che abbiamo visto nell’art. 22 GDPR), è concesso in caso di minaccia alla salute, alla sicurezza e ai diritti fondamentali. In altre parole, il diritto alla spiegazione può essere invocato come protezione della stessa estensione dell’HOP, che, come abbiamo visto, è più ristretta rispetto all’ambito delle misure di salvaguardia nell’art. 22 GDPR. Inoltre, la presunta spiegazione sembra avere un contenuto fisso e limitarsi alle informazioni sul ruolo dell’IA e sugli elementi principali della decisione34, il che è più limitato di quanto richiesto dal principio di spiegabilità in relazione alla necessità di contestabilità.

Infine, è residuale poiché il § 3 afferma che tale diritto è concesso solo se non è previsto da altre leggi dell’UE, il che, nel caso del GDPR, è un problema perché viene discussa l’esistenza di un diritto alla spiegazione.

In conclusione, anche considerando il diritto alla spiegazione come formulato nell’AI Act, sembra che nel caso di sistemi di intelligenza artificiale delle risorse umane che prendono decisioni tramite elaborazione di dati personali, se il principio di controllo umano è in grado di impedire l’applicazione dell’art. 22 del GDPR, il destinatario si ritrova con una protezione ridotta.

Un’interpretazione diversa

Per ricapitolare brevemente il punto principale discusso finora: seguendo la consueta interpretazione dell’art. 22 GDPR, il principio HO come implementato nell’AI Act rende l’art. 22 GDPR inapplicabile per i sistemi AI HR che prendono decisioni al di sopra della “soglia” sulla base del trattamento dei dati personali.

In questo scenario, il destinatario godrebbe del beneficio di un monitoraggio umano completo del sistema e, in caso di una decisione che minaccia la sua salute, sicurezza e diritti fondamentali, avrebbe diritto a un diritto di spiegazione nei termini sopra menzionati.

Tuttavia, sia il focus dell’HOP che le condizioni di applicazione dell’art. 86 AI Act sono limitati, così come il contenuto della spiegazione che riceverebbe.

D’altro canto, non potrebbe trarre vantaggio dalla disciplina più articolata ed esigente delle misure di salvaguardia previste dall’art. 22 GDPR.

Questa conclusione equivale anche a una limitazione dell’autonomia delle parti: di fatto, l’art. 22, §2, lett. a) e c) GDPR consentono loro di decidere se rinunciare al divieto e avvalersi dell’ADM oppure no. Tale decisione è assunta nella consapevolezza che, nel caso in cui il titolare del trattamento debba garantire le misure di salvaguardia in particolare includendo un diritto di contestazione, la decisione, nel complesso, è necessaria per renderla effettiva.

Può essere evidente che, di conseguenza, l’AI Act sembra modificare l’approccio all’uso dell’ADM: mentre l’art. 22 GDPR adotta una sorta di modello partecipativo di protezione dei diritti basato sul principio di contestabilità. Nello scenario appena presentato, il destinatario si ritrova con una sorta di approccio paternalistico dall’alto verso il basso, presumendo che la supervisione umana, come implementata dal diritto alla spiegazione stabilito dall’art. 86 AI Act, sia sufficiente a garantire la protezione degli interessati.

Tuttavia, per le ragioni appena viste, questo potrebbe non essere il caso.

Ma, tutto sommato, questa conclusione non è inevitabile. Dopotutto, dipende da un’interpretazione che non ha sollevato particolari controversie al momento dell’approvazione del GDPR, e si ripete ancora oggi nonostante il panorama normativo e lo sviluppo tecnologico abbiano raggiunto nuovi livelli di complessità. In quanto giuristi, dobbiamo ripensare al modo in cui i singoli elementi di questo nuovo scenario socio-giuridico interagiscono tra loro e indirizzare i nostri sforzi per offrire un quadro sistematico in linea con i principi fondamentali in gioco.

Sebbene il GDPR e l’AI Act siano formalmente sullo stesso livello gerarchico come fonte di diritto, quest’ultimo afferma che il diritto dell’Unione sulla protezione dei dati personali dovrebbe essere applicato in relazione ai diritti e agli obblighi che stabilisce. Inoltre, riconosce una preminenza generale al GDPR affermando che la sua applicazione non lo pregiudica (art. 2, § 7). Le uniche eccezioni che fa non sono affatto eccezioni: la prima, art. 10, §5, dà la possibilità di elaborare tipi speciali di dati personali per il rilevamento e la correzione di pregiudizi, ma richiede l’applicazione di tutte le condizioni stabilite nell’art. 9 GDPR e molto altro indicato nell’art. 10 stesso. Per quanto riguarda l’art. 59 AI Act, l’altra apparente eccezione, ammette l’ulteriore elaborazione di dati personali raccolti legalmente per altri scopi nel contesto dei cosiddetti “sandbox normativi”. Si tratta di “quadro controllato istituito da un’autorità competente che offre ai fornitori o potenziali fornitori di sistemi di IA la possibilità di sviluppare, addestrare, convalidare e testare, ove opportuno in condizioni reali, un sistema di IA innovativo, ai sensi di un piano sandbox per un periodo di tempo limitato sotto supervisione regolamentare” (art. 3, n. 55). Ma, ancora una volta, poiché la facoltà di elaborare più dati personali è data in condizioni severe, la prima delle quali è che il sistema di IA sia sviluppato per salvaguardare un interesse pubblico sostanziale, questo può essere facilmente visto come un caso speciale della base giuridica prevista dall’art. 6, § 1, lett. e) GDPR.

Pertanto, apparentemente l’AI Act approva non solo un principio generale di reciproca coerenza tra sé stesso e il GDPR, ma anche una preminenza di quest’ultimo.

Di conseguenza, in assenza di una deroga esplicita, un’interpretazione che porti alla conclusione di una reciproca esclusività dei regolamenti dovrebbe essere presa con molta cautela e solo quando non vi è altro modo razionale per dare senso al quadro.

Enfaticamente l’attuale interpretazione dell’art. 22, § 1, GDPR su ciò che rende una decisione basata “esclusivamente sull’elaborazione auromata” è insostenibile dopo l’approvazione dell’AI Act. In particolare, manca della precisione necessaria per farla funzionare in conformità con il nuovo Regolamento sull’IA per conto dell’interessato che riceve una decisione elaborata da un sistema di IA ad alto rischio.

Athens Journal of Law XY

13

In altre parole, abbiamo bisogno di un’interpretazione aggiornata dell’art. 22, §1, GDPR per conciliarlo con l’HOP nell’AI Act e per rendere entrambi i regolamenti applicabili, nei casi generali in cui la decisione è sostanzialmente determinata dalla macchina.

La nuova interpretazione dovrebbe spiegare le condizioni in cui l’esercizio della supervisione umana è così focalizzato da escludere che la decisione sia “basata esclusivamente sull’elaborazione automatica”, dato che il mero monitoraggio generale del sistema e il possesso astratto della competenza per fare altrimenti non sono sufficienti.

Ciò può essere fatto interpretando l’espressione “basata esclusivamente sull’elaborazione automatica” in 22, §1, in un modo che richieda un coinvolgimento specifico e materiale dell’essere umano qualificato per evitare il divieto. Ed ecco come potrebbe suonare:

Una decisione dovrebbe essere considerata completamente automatizzata ogniqualvolta venga presa da una macchina, nonostante la presenza di un essere umano qualificato che monitori l’operazione, a meno che non venga dimostrato che tale essere umano qualificato sia intervenuto in modo specifico e materiale nel processo decisionale individuale mediante atti significativi che, se assenti, avrebbero portato a una decisione diversa.

Osservazioni conclusive

Vediamo ora le conseguenze dell’interpretazione proposta in termini di disciplina completa dell’ADM alla luce sia del GDPR che dell’AI Act.

Innanzitutto, nel normale corso d’azione l’implementazione dell’HOP non impedirebbe, di per sé, l’applicazione anche dell’art. 22 GDPR, supponendo che il sistema HR AI venga utilizzato per elaborare dati personali. Ciò consentirebbe all’interessato di godere della protezione sia del GDPR che dell’AI Act, il che è più in linea con il principio stabilito nell’AI Act di applicazione senza influenzare le normative UE sui dati personali.

In secondo luogo, nello stesso scenario, le decisioni al di sopra della soglia andrebbero incontro al divieto generale stabilito nell’art. 22 GDPR, § 1, a meno che il titolare del trattamento non possa fornire prove effettive di specifici passaggi umani intrapresi nel percorso che ha portato alla decisione. Naturalmente, ciò rende l’onere della prova più gravoso per il titolare del trattamento, ma è in linea con il principio di responsabilità che è al centro del GDPR. Di conseguenza, gli obblighi relativi che il titolare del trattamento dei dati deve già rispettare dovrebbero includere anche la registrazione accurata di qualsiasi specifico intervento umano durante il normale corso di applicazione del principio di controllo umano.

In terzo luogo, poiché il divieto può essere derogato dalle parti, questa interpretazione restituisce loro (in particolare all’interessato) tutta l’autonomia di valutare e decidere se lasciare che l’automazione governi o meno le loro relazioni, invece di essere costretti a fare eccessivo affidamento sull’efficienza della persona responsabile dell’HOP. Questa conseguenza è in linea con il principio etico del rispetto dell’autonomia umana incluso nelle Linee guida etiche per un’IA affidabile. In quarto luogo, nel caso ordinario di una decisione al di sopra della soglia presa da un sistema di intelligenza artificiale per le risorse umane che elabora dati personali, l’HOP non impedirebbe all’interessato di godere di tutte le misure di salvaguardia previste dall’art. 22, § 3, GDPR.

Tuttavia, in questo caso, l’applicazione specifica di tali misure subisce un leggero spostamento, fatta eccezione, forse, per il “diritto di esprimere la propria opinione” che rimane difensivamente insignificante come è sempre stato. Invece, il “diritto a un intervento umano” assumerebbe la forma di un diritto a che la persona responsabile dell’HO – poiché ex art. 14, AI Act, è nella posizione giusta e ha la dovuta competenza – si prenda cura specificatamente della situazione individuale fornendo motivazioni specifiche in caso di conferma della decisione. Quanto al “diritto di contestare la decisione”, come abbiamo visto, ha un legame intimo con il “diritto alla spiegazione”. In effetti, questo legame va in una doppia direzione. Da un lato, l’unico modo in cui tale diritto può avere il senso che dovrebbe avere, ovvero essere una misura di salvaguardia per i diritti, le libertà e gli interessi legittimi, è garantire all’interessato l’accesso a informazioni specifiche su come è stata presa la decisione. In questo senso, il diritto alla spiegazione è incluso nel diritto di contestazione e non può essere altrimenti. Al contrario, poiché la contestazione è una richiesta specifica sul perché una decisione dovrebbe essere modificata, è molto focalizzata sul caso individuale, dando così una misura concreta alla quantità di spiegazione necessaria. In altre parole, la quantità e la qualità della spiegazione da fornire non dovrebbero essere misurate in astratto o con riferimento a qualche standard tecnico oggettivo, ma dovrebbero variare in base alla necessità di affrontare la controversia specifica35

Ma qui ci troviamo di fronte a un problema:

Come abbiamo visto, l’AI Act, pur garantendo un diritto (quasi) generale alla spiegazione in caso di decisione presa dal distributore in base all’output di un sistema di intelligenza artificiale per le risorse umane, afferma anche che questo diritto è residuale: può essere invocato nella misura in cui non è altrimenti previsto dal diritto dell’UE36.

Ora, il GDPR lo prevede indirettamente: in altre parole, come abbiamo dimostrato, il diritto alla spiegazione è dato come prerequisito affinché il diritto di contestazione sia effettivamente perseguibile. Ma questa è, al momento, una ricostruzione dottrinale e ha uno svantaggio: all’interessato è consentita una spiegazione fintantoché esercita il diritto di contestazione. L’esistenza di un diritto alla spiegazione di per sé rimane dubbia.

In questa situazione, e nello scenario considerato, ovvero un sistema di intelligenza artificiale per le risorse umane che prende una decisione elaborando dati personali, l’interessato può invocare il diritto alla spiegazione ex art. 86 AI Act, senza contestare la decisione? In altre parole, ha diritto a una spiegazione quo talis?

Nel rispondere a questa domanda, rimarrei cauto tra i confini della lettera legis, poiché non abbiamo ancora una decisione specifica del tribunale sull’argomento.

A mio parere, poiché l’art. 86, § 3 AI Act, afferma che il diritto ivi previsto è concesso “nella misura in cui” non è altrimenti previsto, e poiché il GDPR non conferisce tale diritto di per sé, concluderei che la domanda dovrebbe essere ha risposto positivamente, ma il contenuto della spiegazione che riceverebbe è strettamente limitato a quello previsto dall’art. 86, § 1.

Ma, poiché, a causa di questa limitazione, ciò non dovrebbe fungere da “misura di salvaguardia” nel senso ampio e profondo dell’art. 22 GDPR, l’interessato ha diritto anche a un livello di spiegazione più approfondito nel caso in cui decida di contestare la decisione. In questo caso, il contenuto della spiegazione richiesta non è fissato a priori, ma dipenderebbe dalle specifiche rivendicazioni avanzate.

Per concludere questo articolo, vale la pena ricordare che un’IA incentrata sull’uomo è una sfida al momento. La complessità delle numerose normative non ci consente di fare affidamento su una formula preordinata, ma dobbiamo essere preparati alle numerose controversie giudiziarie che stiamo per vedere non appena la legge sull’IA sarà pienamente applicabile.

Questo articolo non è altro che una goccia nell’oceano. Potrebbe essere utile allertare sul lavoro interpretativo da svolgere. Forse, potrebbe apparire come un’opera dogmatica di bassa lega, e non come l’avvertimento “epocale” di una rivoluzione imminente o il grande annuncio dell'”era delle macchine”. Ma quando arriverà l’onda, forse sarà meglio affidarsi di più a solide dighe costruite da artigiani di basso profilo che a profeti autoproclamati di una nuova era.