Quando l’algoritmo giudica: la discriminazione senza volto

“L’algoritmo è oggettivo, non ha pregiudizi”. 

Questo pensiero, anche se non in modo consapevole, è alla base di molte delle decisioni che quotidianamente assumiamo e subiamo. 

Si tratta di una frase rassicurante e, proprio per questo, pericolosa. Perché parte da un equivoco: pensare che una macchina, non essendo umana, sia più affidabile e non abbia le nostre debolezze. In verità non è così, anzi.

Ma occorre fare un passo indietro, per spiegare meglio le due parole attorno alle quali ruotano le riflessioni che seguiranno. La prima è algoritmo: una sequenza di istruzioni necessarie per arrivare ad un risultato, come i passaggi da seguire in una ricetta di cucina. Gli algoritmi su cui si basano gli attuali modelli di intelligenza artificiale, però, hanno una particolarità: non ricevono un’istruzione dopo l’altra da un programmatore, ma se le ricavano da soli, individuando le regolarità che si ripetono in enormi quantità di dati e restituendo il risultato statisticamente più probabile, attraverso calcoli che restano in gran parte oscuri persino a chi li progetta.

La seconda parola è discriminazione. Discriminare significa trattare una persona in modo diverso e più sfavorevole rispetto ad altre, per ciò che è, e non per ciò che fa: perché è donna, perché è straniera, perché ha una certa età. E’ un comportamento che il diritto vieta, ma che nella vita di tutti i giorni continua a verificarsi, purtroppo, indipendentemente dall’uso delle macchine nei processi decisionali. Quando però “le macchine” entrano in campo, l’effetto è spesso un’amplificazione di queste storture. 

Il primo punto da tenere in considerazione, dunque, è che non possiamo considerare l’intelligenza artificiale come intrinsecamente imparziale: è una tecnologia figlia della nostra società. Un sistema addestrato su dati distorti restituirà decisioni distorte, perpetuando iniquità.

Un esempio chiarisce meglio di ogni definizione: se in un certo settore, per vent’anni, sono stati assunti quasi solo uomini, il sistema che seleziona il personale imparerà che essere uomo è una caratteristica ricorrente in quel contesto e continuerà a “preferire” candidati maschi, non perché “voglia” discriminare, ma perché restituisce, moltiplica e reitera una stortura che era già nei dati. 

Questo fenomeno ha un nome: bias algoritmico. Non è un errore occasionale né un guasto, ma un difetto strutturale, che si ripete a ogni decisione della macchina. 

Da qui nasce la discriminazione algoritmica, un fenomeno subdolo, difficile da riconoscere, perché non si presenta mai nella forma che ci aspetteremmo. Se un’azienda impartisse al proprio selezionatore – umano o elettronico – l’istruzione di scartare le donne o rifiutare gli stranieri, saremmo di fronte ad una discriminazione diretta: vietata, evidente e facile da contestare. 

Ma, se la stessa azienda adotta un sistema di selezione addestrato su dati che riflettono vent’anni di squilibri, il risultato finale è identico. Cambia solo che nessuno lo ha voluto e che, soprattutto, nessuno se ne accorge. 

Questa è la discriminazione indiretta, una categoria che il nostro ordinamento conosce da oltre vent’anni: si ha quando una disposizione, un criterio o una prassi apparentemente neutri mettono una categoria di persone in una posizione di particolare svantaggio. Non serve l’intenzione. Basta l’effetto. Ed è esattamente ciò che fa un algoritmo: applica un criterio neutro e ne produce un effetto sistematico. La discriminazione algoritmica è invisibile e opera su larghissima scala, entrando nel processo aziendale e inquinando in silenzio ogni scelta.

Tre storie vere

Non è teoria. È già accaduto.

Il caso più noto è quello di Amazon. Dal 2014 l’azienda aveva sviluppato un sistema per selezionare i curricula, addestrato su quelli ricevuti nel decennio precedente. Il modello imparò da solo che il candidato uomo era preferibile e cominciò a penalizzare i profili che contenevano la parola “women”: venivano svantaggiate, ad esempio, le candidate che indicavano di aver frequentato un college femminile. Amazon provò a correggerlo, non ci riuscì, e nel 2018 abbandonò il progetto (MIT Technology Review).

Il secondo caso viene dalla sanità. Nel 2019 la rivista “Science” pubblicò lo studio di Ziad Obermeyer su un algoritmo usato negli ospedali statunitensi per individuare i pazienti da avviare a cure intensive. Per stimare il bisogno di cura il sistema guardava a un parametro apparentemente neutro: la spesa sanitaria già sostenuta. I pazienti neri risultavano meno a rischio, perché su di loro erano state spese meno risorse. Ma quella minore spesa non indicava una salute migliore: indicava una maggiore difficoltà di accesso alle cure. Correggendo il criterio, la quota di pazienti individuati per le cure necessarie sarebbe salita dal 17,7% al 46,5% (Le Scienze).

Il terzo caso è italiano. Il 31 dicembre 2020 il Tribunale di Bologna dichiarò discriminatorio “Frank”, l’algoritmo con cui Deliveroo assegnava ai rider le sessioni di lavoro (testo dell’ordinanza). Il sistema penalizzava chi non lavorava durante il turno prenotato, applicando a tutti la stessa regola: trattava allo stesso modo chi non aveva voglia, chi era malato e chi scioperava. Ma per la legge, queste situazioni non sono paragonabili. Il Tribunale parlò della “cecità” dell’algoritmo, incapace di ponderare le ragioni di un’assenza. Un criterio neutro, ancora una volta, che produce effetti profondamente ingiusti.

Il rischio si moltiplica con l’IA generativa

Il 28 maggio 2026 Amnesty International ha pubblicato un report che denuncia i rischi per i diritti umani legati agli strumenti più diffusi di IA generativa. L’accusa principale riguarda il modo in cui questi sistemi sono stati costruiti: la raccolta massiva e senza controllo di dati da internet ha impedito di applicare filtri correttivi per ripulire i dati in ingresso, causando forti discriminazioni: l’organizzazione osserva che questi tool generano bias sistematici, tendono cioè ad amplificare le diseguaglianze già esistenti. Un esempio concreto e ad oggi noto: quando chiediamo loro di produrre un’immagine che rappresenta una figura professionale, spesso ci restituiscono l’immagine di un uomo, per lo più bianco. Ebbene, quando questi sistemi entrano nei processi decisionali e nei flussi di lavoro delle organizzazioni o, ancor peggio, quando sono utilizzati da ragazzi e ragazze per produrre contenuti che vengono considerati verità, ecco che il danno diventa concreto.

Quali sono gli strumenti di difesa

Non siamo però disarmati di fronte a tutto questo. La prima difesa nasce a monte, dai dati: se un algoritmo impara da un mondo in cui i dirigenti sono uomini e i pazienti che costano poco sono “sani”, restituirà quel mondo. Servono dati rappresentativi e verificati e test che ne misurino gli effetti sui gruppi reali di persone, non sulla media della popolazione. È anche per questo che la scelta di quale sistema adottare non è indifferente: alcuni fornitori investono nel correggere questi difetti, altri molto meno. Per un’impresa, informarsi su come un modello è stato costruito e addestrato e farselo garantire per iscritto da chi lo fornisce, è una delle prime e più concrete forme di tutela.

Così come per un individuo, conoscere le logiche che stanno alla base dell’algoritmo utilizzato in fase di selezione per un posto di lavoro, oppure per l’erogazione di un mutuo o, ancora, nell’interazione con una piattaforma, è fondamentale.

Proprio in questo senso vanno le leggi europee e nazionali che si occupano, ormai da molti anni, di queste tematiche. Il tanto citato GDPR prima, e l’AI Act oggi, sono sistemi di regole che l’Europa ha scelto di introdurre – non senza essere accusata di frenare l’innovazione e l’economia – proprio per tutelare i diritti e le libertà fondamentali: l’impostazione europea muove dall’idea che questa tecnologia sia pericolosa tanto quanto utile, per questo, la sua introduzione e diffusione devono essere governate, avendo come punto di attenzione l’uomo.

Solo così sarà possibile arginare i rischi insiti negli strumenti di cui abbiamo parlato. E, senz’altro, il rischio di discriminazione è uno dei più significativi.

Perché l’etica torna sempre

Perché l’etica sta negli aggettivi e negli avverbi. Non nei sostantivi, non nelle grandi parole “algoritmo”, “innovazione”, “efficienza” ma in ciò che le qualifica. Si tratta di una disciplina che non si occupa di cosa sia permesso fare: quello è il mestiere del diritto. Si occupa del perché abbia senso agire in aderenza ad alcuni principi piuttosto che ad altri.

Proprio queste riflessioni hanno ruotato intorno ad un aggettivo e a un avverbio. L’aggettivo è “neutro”: un criterio neutro, uno strumento neutro, una tecnologia neutra. L’avverbio è “apparentemente”. E’ lì, in quella parola che di solito scorriamo senza vederla, che passa la differenza tra un sistema che funziona ed uno che discrimina.

Spero, dunque, che il punto emerga con chiarezza. Non si tratta di decidere se adottare o meno sistemi di intelligenza artificiale nei più disparati contesti della vita quotidiana: quella discussione è superata. Si tratta di farlo con consapevolezza, avendo chiaro in mente che scelte di questo tipo non possono fondarsi solo sui dati di performance o sui costi d’utilizzo. Prima ancora, occorre interrogarsi sul motivo di tali scelte: il fine per il quale vogliamo servircene. 

E’ questa, in fondo, la differenza tra innovare ed innovare bene. 

Alle macchine possiamo chiedere il “come” fare e senz’altro sapranno rispondere meglio di noi, ma il “perché”, quello resta una nostra prerogativa. 

Foto in copertina: Futuristic Portrait, Deep Patel, Lummi