Ulteriori pratiche vietate dell’AI ACT (3/4)
Continuiamo la nostra analisi delle pratiche vietate dell'AI ACT che includono: sistemi per la predizione di reati, banche dati di volti e sistemi di riconoscimento delle emozioni.
Dopo avere esaminato i principi alla base delle pratiche vietate previste dall’art. 5 del Regolamento Europeo 2024/1689 (AI Act), già applicabili dal 5 Febbraio 2025, e le prime tre pratiche vietate, continuiamo il nostro esame con le seguenti:
Art. 5 (1) (d) Sistemi di predizione del rischio di commissione di reati
Art. 5 (1) (e) Sistemi per la realizzazione o implementazione di banche dati sulla base di scraping generalizzato di volti tramite immagini prese da Internet o da sistemi CCTV
Art. 5 (1) (f) Sistemi di riconoscimento delle emozioni
Predizione di reati
Come abbiamo visto, l’articolo 5 del Regolamento pone limiti precisi e divieti espliciti su pratiche considerate incompatibili con i diritti fondamentali dei cittadini europei. Tra queste, spicca il divieto previsto alla lettera (d), che vieta l’uso di sistemi di intelligenza artificiale per la valutazione individuale del rischio di commissione di crimini quando si basa esclusivamente su profilazione soggettiva o su caratteristiche personali non supportate da fatti oggettivi.
Si tratta di una norma che intende mettere un argine all’ipotesi di un futuro distopico in cui il rischio di un crimine venga previsto da un algoritmo, sulla base del volto, dei comportamenti online o di altri tratti comportamentali, senza che vi sia alcun riferimento concreto a reati passati o fatti accertati.
In questo scenario, il principio della presunzione di innocenza viene difeso con forza, evitando che un’intelligenza artificiale possa decidere arbitrariamente chi è “potenzialmente pericoloso” e chi no.
L’AI Act vieta in modo chiaro quei sistemi che pretendono di assegnare a un individuo un punteggio di rischio di commissione di reati, basandosi unicamente su analisi di dati sociali, psicologici o comportamentali, come abitudini di consumo, frequentazioni digitali o tratti della personalità.
Il divieto si applica ogni volta che un sistema AI viene progettato, commercializzato o utilizzato con l’obiettivo specifico di valutare la probabilità che un individuo commetta un reato, in assenza di fatti oggettivi che giustifichino tale valutazione. Questo vale non solo per le autorità pubbliche, ma anche per soggetti privati che esercitano funzioni di interesse generale, come le società di sicurezza o gli organismi incaricati della prevenzione della criminalità.
Il Regolamento non esclude l’utilizzo dell’AI nei contesti giudiziari o investigativi in modo assoluto.
L’elemento discriminante è la presenza di un controllo umano competente, capace di interpretare i dati forniti dal sistema e di prendere decisioni autonome sulla base di prove concrete. L’intelligenza artificiale può supportare l’attività investigativa, ma non può determinarla.
Può essere quindi lecito un sistema AI che analizza precedenti penali documentati e che aiuta un giudice nella valutazione del rischio recidiva, mentre è vietato un sistema che stabilisca da solo l’applicazione di sanzioni sulla base di un profilo psicologico.
Lo stesso principio si applica alla sorveglianza.
Se un sistema AI elabora dati oggettivi raccolti da fonti verificate, come telecamere o testimonianze, per aiutare un investigatore a comprendere meglio il comportamento di un sospettato, la sua funzione è lecita. Se, al contrario, un algoritmo propone misure restrittive basandosi su un’analisi automatica di dati comportamentali non connessi a fatti accertati, la pratica è vietata.
È essenziale che i sistemi AI siano sottoposti alla supervisione umana da parte di operatori che siano in grado di comprendere i limiti del modello evitando che pregiudizi o bias presenti nei dati si traducano in discriminazioni reali.
Oggetto della tutela è sempre l’uomo.
Pertanto un sistema che stima la probabilità di furti in una certa area urbana, sulla base di dati storici, non rientra nel divieto, purché non colleghi tale rischio a persone specifiche, ma se il rischio viene associato agli abitanti di quella zona o a soggetti identificabili, il sistema può ricadere nel divieto.
Non meno rilevante è la distinzione tra reati penali e reati amministrativi, in quanto l’AI Act vieta la previsione automatizzata solo per i primi. Le infrazioni amministrative, come il mancato pagamento di una multa o violazioni fiscali minori, restano escluse dall’ambito di applicazione della norma.
Database di volti
Il divieto previsto dalla lettera (e) dell’articolo 5 mira invece a tutelare la privacy, vietando la raccolta indiscriminata di immagini di volti tratte da internet o da videocamere di sorveglianza (CCTV) per creare o ampliare database destinati al riconoscimento facciale.
Il focus non è sul riconoscimento in sé, ma sulle modalità con cui si raccolgono i dati biometrici, e sull’assenza di consenso o di una finalità trasparente.
L’obiettivo della norma è evitare lo scraping non mirato, ossia l’uso di bot o crawler che setacciano il web e le fonti video per drenare immagini contenenti volti umani, con l’obiettivo di costruire enormi archivi biometrici senza che le persone interessate ne siano consapevoli.
Ricordiamo che il fatto che un’immagine sia stata pubblicata su un social network e resa accessibile a tutti, non autorizza i terzi a poterla usare liberamente e non equivale a una rinuncia al diritto alla propria immagine.
Il divieto, però, non si applica quando lo scraping è mirato e giustificato, ad esempio quando serve per individuare un criminale ricercato o per identificare la vittima nel corso di una specifica indagine. Inoltre, se le immagini raccolte non vengono utilizzate per il riconoscimento degli individui, ma per l’addestramento di modelli generativi che creano dati sintetici, il sistema non rientra nel divieto, pur restando l’obbligo di trasparenza previsto dall’articolo 50 dell’AI Act, che impone agli sviluppatori di dichiarare se un’immagine è stata generata artificialmente.
I database già esistenti al momento dell’entrata in vigore del regolamento potranno essere mantenuti, ma non ulteriormente arricchiti attraverso nuove attività di scraping non mirato. Anche qui, la protezione si applica solo alle persone fisiche, per cui le entità giuridiche non sono tutelate da questo divieto, salvo che la raccolta dei dati biometrici incida indirettamente su individui identificabili.
Infine, la previsione si limita al riconoscimento facciale. Anche lo scraping di altri dati biometrici, come la voce, possono rientrare nel divieto se sono usati per identificare persone specifiche.
Riconoscimento delle emozioni
Con la lettera (f) dell’articolo 5, l’AI Act ha scelto di vietare l’uso di sistemi di riconoscimento automatico delle emozioni in contesti particolarmente delicati come il luogo di lavoro e le istituzioni educative, dove il monitoraggio emotivo può facilmente trasformarsi in una forma di sorveglianza o di manipolazione del comportamento.
Il divieto riguarda specificamente i sistemi AI che inferiscono o identificano emozioni tramite dati biometrici come espressioni facciali, toni vocali, battito cardiaco, e si applica a tutte le fasi del ciclo di vita del sistema, dalla messa in commercio all’utilizzo.
L’obiettivo è impedire che un software, magari installato in una scuola o in un ufficio, possa determinare lo stato emotivo di studenti o lavoratori, valutandone la concentrazione, lo stress o la motivazione, con il rischio di generare pressioni indebite o giudizi ingiustificati.
Restano invece escluse dal divieto alcune applicazioni mirate, come quelle mediche, ad esempio per la diagnosi di depressione o ansia, o quelle adottate per motivi di sicurezza, laddove la rilevazione dello stress può contribuire a prevenire incidenti.
Sono ammessi anche sistemi che non utilizzano dati biometrici, oppure che analizzano emozioni in ambienti diversi da scuola e lavoro, purché con adeguate garanzie.
In ogni caso, l’utilizzo di queste tecnologie deve sempre avvenire nel pieno rispetto dei diritti fondamentali, in modo trasparente, con il consenso informato della persona e previa adozione di rigorose misure di tutela.
Determinante sia per evitare prepotenze che raggiri.
Grazie dell'articolo, mi fa un pò riflettere che "l’utilizzo di queste tecnologie deve sempre avvenire nel pieno rispetto dei diritti fondamentali" quando poi spostiamo l'asticella un pò più in là ogni volta.
Mi ricorda di quando misero le telecamere negli uffici perchè c'era stato un provvedimento che la autorizzava e che poi venne ritirato ma tanto ormai il danno era fatto.