Il termine governance indica “l’insieme dei princìpi, dei modi, delle procedure per la gestione e il governo di società, enti, istituzioni, o fenomeni complessi, dalle rilevanti ricadute sociali”.
Sistemi complessi che necessitano di una lunga serie di passaggi tra diversi mediatori e di intricati rapporti burocratici prima che una decisione venga presa.
Non ci sono dubbi che i sistemi di automated decision making possano fare miracoli nella loro applicazione alla governance ottimizzando processi già esistenti e sviluppandone di nuovi.
I sistemi di cui parliamo sono basati sull’intelligenza artificiale: software progettati da una o più persone che operano raccogliendo dati dall’ambiente esterno per calcolare la decisione migliore per raggiungere l’obiettivo prefissato.
IA: razionale, neutra e giusta?
L’IA applicata alla governance può migliorare la vita in diversi ambiti: dalla sanità all’educazione, dal sistema giudiziario ai sussidi statali. Ad esempio, l’analisi dei dati di una cartella clinica può semplificare la prescrizione di farmaci per le condizioni più comuni, mentre quella dei dati INPS potrebbe rendere possibile l’assegnazione di bonus disoccupazione solo a chi ha i requisiti per ottenerli, evitando migliaia di richieste trasmesse invano.
La prima qualità che si attribuisce a una IA è che sia razionale, una caratteristica che sarebbe garantita dal suo processo di informazione e calcolo, analizzando l’ambiente circostante, interpretando i dati raccolti, prendendo decisioni sulla base di questi dati e poi attuando le politiche decise. Le IA non si limitano a questo, ma possono imparare e adattarsi all’ambiente circostante in base a come quest’ultimo ha reagito alle decisioni precedenti. Non dimentichiamo, però, che c’è sempre un essere umano dietro la programmazione di tali sistemi e che l’ambiente circostante non è oggettivo e libero da bias, che influenzeranno quindi il lavoro dell’IA.
Nel 2020 migliaia di studenti in Inghilterra hanno manifestato con striscioni e slogan che ripetevano “Fuck the algorithm” perché a causa del COVID e della cancellazione degli esami, l’Office of Qualifications and Examinations Regulation aveva decretato che i loro voti finali fossero determinati da un sistema di automated decision making per evitare che gli insegnanti, influenzati dalla situazione, assegnassero voti troppo alti agli studenti.
Il risultato è stato che la maggior parte degli studenti si è vista assegnare voti molto sotto la loro media e aspettative e non è stato chiaro il perché di questa decisione. Le manifestazioni non erano contro la tecnologia e il digitale, ma proprio contro la visione dell’IA come di una soluzione imparziale, libera in tutto e per tutto dai condizionamenti umani.
Non solo questi sistemi applicati alla governance possono minare la giustizia sociale, ma rischiano di sfociare nella sorveglianza di massa. Un esempio è quello del programma sperimentale lanciato in alcune banche polacche per monitorare l’operato dei propri dipendenti e aumentare l’efficacia dell’assistenza clienti: un sensore rileva quanto l’impiegato sorride e sono previsti degli incentivi in base ai dati raccolti. Anche l’uso dei sensori di riconoscimento facciale da parte della Polizia è stato oggetto di dibattito in molti Stati, tra cui l’Inghilterra e il Galles, ma anche l’Ungheria, dove il sistema è stato reso legale solo 5 anni dopo la sua implementazione.
E la dimensione etica?
Negli anni hanno iniziato a svilupparsi movimenti di attivismo per tutelare i diritti che sono più minacciati dalla digitalizzazione degli strumenti di governance. Questi gruppi lottano per la trasparenza dei processi decisionali, per la pubblicazione dei codici, per la protezione dei dati.
Sicuramente i sistemi di ADM sono utili, ma a quale prezzo? Per essere considerati una valida alternativa o un’integrazione della decisione umana, questi sistemi hanno ancora bisogno dello sviluppo di un codice etico che li accompagni di pari passo e che li riconosca per quello che sono, mettendo da parte il cosiddetto “soluzionismo tecnologico”.
Mentre è sicuramente sorprendente che la ricerca tecnologica sia riuscita a realizzare sistemi così complessi, è altrettanto vero che non sono la soluzione a tutti i problemi di trasparenza e di razionalità che affliggono i processi di governance e, anzi, ad oggi complicano ancora di più questi dibattiti portando grande opacità nel processo decisionale. Il prossimo obiettivo è quindi quello di sviluppare un apparato etico che possa facilitare “un’intelligenza artificiale degna di fiducia”.
