Prove di discriminazione algoritmica in Serbia

Quando a marzo 2021 entrò in vigore in Serbia la legge sulla Social Card, in molti espressero preoccupazioni per il suo possibile impatto sulle persone in situazione di indigenza. Da allora, oltre 22 mila persone hanno smesso di ricevere l’assistenza sociale finanziaria. Evidentemente le preoccupazioni erano fondate.

La legge prevede l’introduzione di un registro per la raccolta ed elaborazione dei dati personali di chi percepisce una qualche forma di assistenza sociale finanziaria, al fine di valutarne la situazione economica complessiva e quindi ridistribuire le risorse destinate a questa voce del bilancio statale. Per determinare lo status economico-sociale, la legge implica la raccolta di un’estesa lista di dati della persona, presi da diverse fonti e centralizzati in un unico registro da cui, attraverso un processo automatizzato di valutazione, viene stabilito se e a che livello si ha diritto a continuare a ricevere il sussidio.

Tale impianto ha destato due ordini di preoccupazioni. Il primo è relativo alla già problematica situazione dell’assistenza sociale in Serbia, che necessita di una riforma che includa più persone dando loro sussidi maggiori, mentre la legge sembra volta a ridistribuire le risorse esistenti e a escludere parte degli attuali beneficiari, piuttosto che includerne di nuovi.

Il secondo riguarda la violazione delle norme sulla raccolta ed elaborazione dei dati personali, nonché di quelle che dovrebbero proteggere i cittadini da decisioni prese nei loro confronti da sistemi automatizzati, che rischiano di riprodurre e accentuare discriminazioni che già colpiscono i soggetti vulnerabili, come ad esempio la comunità Rom.

Una rete di associazioni che va sotto il nome di ESCR-Net, e che comprende Amnesty International, A 11 – Initiative for Economic and Social Rights e lo European Roma Rights Center, ha da poco presentato alla Corte costituzionale serba un parere legale in cui elenca le criticità della norma.

Un sistema non inclusivo

Secondo i dati raccolti da A 11 , le persone che ricevevano l’assistenza sociale a febbraio 2022 (prima della messa in funzione della Social Card) erano 211.266, mentre ad agosto erano scese a 189.036, con un calo del 10,5 per cento.

Il sistema è entrato in vigore solo in alcune città, ci ha spiegato Danilo Ćurčić, coordinatore di A 11, perché molti centri per l’assistenza sociale non hanno la tecnologia e le competenze per collegarsi al registro centrale. C’è quindi anche una questione legata ai costi di implementazione e manutenzione di questo sistema, che lo rendono insostenibile, secondo Ćurčić.

In 11 delle 15 città di cui A 11 ha ottenuto i dati si registra una flessione nel numero di beneficiari, in alcuni casi con percentuali che vanno molto oltre il dato nazionale (Ada -28,7%, Irig -28,8%). In altri casi invece il numero è aumentato, talvolta in maniera significativa (Leskovac +17,1%). «Non essendoci trasparenza sul funzionamento del sistema, non è chiaro perché alcuni centri di assistenza sociale abbiano incrementato i beneficiari – spiega Ćurčić –. In ogni caso, l’aumento non può essere dovuto alla Social Card, visto che non dà ai centri l’opportunità di identificare chi ancora non riceve l’assistenza ed eventualmente includerli nella copertura».

Come spiega Radio Slobodna Evropa , attualmente l’assistenza sociale per il singolo individuo ammonta a 10.385 dinari (circa 88 euro), una cifra peraltro inferiore alla soglia di 12.695 dinari indicata dallo stesso governo come minimo mensile per uscire dalla povertà nel 2020. Inoltre, sempre secondo dati del governo, nello stesso anno il 6,9 per cento della popolazione serba versava in condizioni di povertà assoluta: poco più di 475 mila persone, cioè due volte e mezzo il numero di persone che oggi ricevono l’assistenza sociale.

Uno degli elementi che possono portare all’esclusione dall’assistenza sociale è l’attività di rivendita di materiale come plastica, cartone e vetro destinati alla raccolta differenziata, praticata da molte persone Rom, che sono anche la fascia più povera della popolazione. «Nel conferire il materiale le persone devono mostrare il codice fiscale per poter essere pagate – spiega Francesca Feruglio, coordinatrice di ESCR-Net –. In questo modo tali guadagni, per quanto limitati, vengono registrati e il dato finisce nel registro centrale della Social Card, in diversi casi determinando la sospensione del contributo. Questo è totalmente ingiusto se si considera la condizione complessiva del soggetto».

Sistemi di discriminazione automatica

Una delle critiche mosse alla legge sta nel fatto che essa produce, nei fatti, decisioni automatizzate che hanno un forte impatto sulla vita delle persone, senza prevedere l’intervento di un essere umano nel processo. In sostanza, una volta che l’algoritmo della Social Card elabora la valutazione sul singolo caso, invia un alert all’ufficio territoriale cui la persona fa riferimento. Il funzionario ha però a disposizione un lasso di tempo giudicato insufficiente, anche in relazione ai diffusi problemi di sottoccupazione degli uffici, per verificare la bontà della decisione. Di fatto viene quindi messo in atto un processo automatizzato.

Il ministero del Lavoro, nella sua valutazione d’impatto della legge, sostiene che il cittadino sia tutelato perché c’è sempre la possibilità per un funzionario dell’ufficio competente o del ministero di riesaminare la valutazione e cambiarne l’esito, su richiesta del cittadino. La realtà però, spiega Ćurčić, è che «ci sono solo 15 giorni per fare ricorso contro la decisione, e quasi nessuno lo fa. In molti casi perché non sanno di poterlo fare, o perché essendo analfabeti non hanno gli strumenti per agire. Così si accontentano di lasciar passare i sei mesi che devono intercorrere per ripresentare la domanda di assegno sociale. Ma se anche questa dovesse andare a buon fine, sono sei mesi di sussidio persi, e non è detto che la domanda venga accettata o che non ci sia una nuova revoca».

Biljana Đorđević, parlamentare del movimento Ne davimo Beograd, ha chiesto trasparenza al ministero circa il funzionamento dell’algoritmo e il numero di persone a cui è stato revocato il sussidio a causa dell’introduzione della Social Card. «Hanno risposto che non c’è nessun algoritmo – spiega Đorđević –. Secondo loro il sistema si limita a raccogliere i dati, poi è l’assistente sociale a fare la valutazione. Le testimonianze raccolte dimostrano che non è così». E in effetti, se non c’è un algoritmo, su che base sarebbero inviati gli alert dal ministero ai centri di assistenza sociale? È piuttosto ovvio che c’è un’elaborazione dei dati, ma non su quali basi avvenga. «Abbiamo chiesto anche di avere accesso al codice che concretamente procede alla raccolta dei dati – prosegue Đorđević – ma ci è stato negato per “questioni di copyright” e di “sicurezza nazionale”».

Rispetto al calo dei beneficiari, il ministero non ha fornito dati precisi, ma ha spiegato la riduzione con il fatto che il Paese negli anni sta conoscendo un progressivo sviluppo e di conseguenza un miglioramento delle condizioni di vita delle persone, che quindi in misura sempre maggiore smetterebbero di avere bisogno di assistenza. Se è pur vero che i dati sulla povertà assoluta in Serbia sono in lento miglioramento negli ultimi anni (ma comunque peggiori rispetto al 2008 e 2009), resta che ci sarebbe bisogno di allargare il bacino di beneficiari, mentre «è piuttosto evidente che la legge serve ad escludere», dice Đorđević.

«Sono colpito dal fatto che la valutazione d’impatto fatta dal ministero sia così scarna», commenta Gianclaudio Malgieri, professore associato di diritto all’università di Leiden. «C’è un certo consenso ormai sul fatto che quando si parla di intervento umano nelle decisioni prese attraverso sistemi automatizzati, questo debba essere significativo. Qui non si intravede nulla di simile. Inoltre, di fronte a sistemi che prendono decisioni nel giro di un secondo, la procedura per fare ricorso dovrebbe essere semplificata. In questo caso invece si applicano le procedure standard, che in sostanza portano alla giurisdizione ordinaria, con tutto ciò che comporta in termini di tempi e costi. Nel testo della legge sulla Social Card, poi, si dice che questo sistema potrà avere effetti anche su gruppi sociali e soggetti vulnerabili. A questo punto però dovrebbe seguire una lista di tutele aggiuntive: nulla di tutto ciò. La Serbia  – prosegue Malgieri – ha peraltro adottato una legge per la protezione dei dati personali modellata sul relativo Regolamento europeo (GDPR) e ha inoltre firmato e ratificato la Convenzione 108+ del Consiglio d’Europa. Non è quindi certo un paese arretrato sul tema dei dati personali. La legge sulla Social Card agisce in violazione delle norme che la stessa Serbia si è data».

Raccolta dati senza limiti

Secondo l’analisi fatta da A 11, la legge sulla Social Card arriva a raccogliere 135 categorie di dati sulla persona. Per fare questo attinge da diverse fonti tra cui il Registro centrale dei cittadini, il ministero degli Affari Interni, l’Amministrazione fiscale, il Fondo pensioni e assicurazioni di invalidità. Alcuni dei dati richiesti sono particolarmente problematici, come quello relativo all’etnia (art. 7, par. 1, punto 6). Di altri non si capisce quale sia il legame con la valutazione della situazione socio-economica, come l’eventuale possesso di un’arma. «Si chiedono ai cittadini informazioni sull’etnia – commenta Ćurčić –, ma non se la loro abitazione è collegata alla rete elettrica o al sistema idrico». Il timore è che la legge, al di là degli scopi dichiarati, finisca per diventare un sistema di profilazione e sorveglianza di massa dei beneficiari. «Anche in questo caso – riprende Malgieri – siamo in presenza del rischio di una violazione della legge serba sulla protezione dei dati personali. La Social Card implica la raccolta di una quantità di dati che non trova giustificazione nella finalità della legge stessa. Tra l’altro all’articolo 4 si citano “la prevenzione della povertà e l’eliminazione delle conseguenze dell’esclusione sociale” tra le finalità della raccolta dei dati personali. Ma le finalità del trattamento, anche ai sensi della legge serba sulla protezione dei dati, devono essere specifiche e precise, non possono essere così generiche».

Al parere legale presentato da ESCR-Net alla Corte costituzionale si unirà nelle prossime settimane un’iniziativa a cui sta lavorando Biljana Đorđević: «Se almeno 25 parlamentari presentano una richiesta alla Corte costituzionale, questa è obbligata a pronunciarsi sul caso sollevato – spiega –. Purtroppo però non sono definiti limiti temporali, quindi la Corte potrebbe decidere di rimandare continuamente la questione. Non possiamo che sfruttare gli strumenti legali a disposizione. L’importante ora è mantenere alta l’attenzione sul problema». La preoccupazione di Đorđević è che il registro centrale, una volta creato, serva come base per nuove forme di discriminazione ed esclusione in futuro.