La tecnologia non è neutrale

Condividi

di Lucia Tedesco

In Tecnologia della rivoluzione Diletta Huyskes apre una riflessione sulle responsabilità sociali di chi innova. Dal forno a microonde all’AI

L’idea che la tecnologia sia una forza neutrale e inarrestabile, che opera indipendentemente dai contesti sociali, economici e culturali, è un mito radicato nel nostro immaginario collettivo. Tuttavia, come dimostra Diletta Huyskes nel suo libro Tecnologia della rivoluzione. Progresso e battaglie sociali dal microonde all’intelligenza artificiale (Il Saggiatore, 2024), questo mito è ben lontano dalla verità. La tecnologia non è mai stata neutrale e spesso amplifica le ingiustizie esistenti.

Un esempio significativo che viene raccontato nel libro è il caso di ProKid+, l’algoritmo di polizia predittiva impiegato nei Paesi Bassi nel 2015, che ha condannato preventivamente un adolescente, Omar (nome fittizio), a un futuro da criminale. Reddito basso, background migratorio e un’età inferiore ai diciotto anni, sono solo alcune delle caratteristiche utilizzate dai sistemi di intelligenza artificiale per valutare il rischio di migliaia di persone ogni giorno. Il progetto, noto come Top400, inizialmente pensato come una lista di adolescenti precedentemente condannati per almeno un reato, è stato successivamente ampliato includendo anche bambini e ragazzi che, pur non avendo ancora avuto problemi legali, erano considerati dall’algoritmo a rischio di esserlo presto.

Una tecnologia a sfavore delle minoranze

Questo algoritmo, che avrebbe dovuto rappresentare un approccio innovativo alla prevenzione del crimine, non ha fatto altro che reiterare stereotipi e pregiudizi preesistenti, privando i soggetti come Omar di qualsiasi possibilità, riscatto ed emancipazione e lasciandoli intrappolati in un circolo di sospetti e discriminazioni: «Questa sentenza è il risultato di una raccomandazione proveniente da un modello matematico che prometteva il rilevamento della criminalità utilizzando principalmente metodologie di apprendimento automatico, un sottoinsieme dell’intelligenza artificiale che utilizza modelli statistici e algoritmi per analizzare e fare previsioni basate sui dati».

La pretesa di prevedere il crimine attraverso l’analisi dei dati ignora il fatto che tali modelli sono costruiti su basi che riflettono le disuguaglianze sociali, contribuendo a perpetuarle piuttosto che risolverle. Non a caso Huyskes cita Andrew Feenberg che nel suo testo, Transforming Technology, asserisce che la progettazione della tecnologia è una decisione ontologica ricca di conseguenze politiche. Huyskes ci guida attraverso una riflessione critica, evidenziando come ogni nuova tecnologia sia il risultato di un preciso percorso storico e sociale. Contrariamente all’immagine romantica del genio inventore che cambia il mondo con un’illuminazione improvvisa, la realtà ci mostra come le innovazioni tecnologiche siano frutto di compromessi, conflitti e distribuzioni ineguali di potere.

L’idea di un progresso lineare e inevitabile si sgretola di fronte all’analisi che Huyskes offre, svelando una verità fattuale: la tecnologia è costruita, modificata e implementata per servire interessi specifici, spesso a scapito delle fasce più vulnerabili della società. Un altro esempio significativo è rappresentato dall’introduzione delle tecnologie domestiche nel ventesimo secolo. Queste invenzioni, come il forno a microonde, venivano presentate come soluzioni liberatorie per le donne, promettendo di alleviare il carico del lavoro domestico.

Tuttavia, come dimostra Huyskes, la realtà è stata ben diversa: piuttosto che emancipare, queste tecnologie hanno rafforzato gli stereotipi di genere, relegando ulteriormente le donne al loro ruolo tradizionale di casalinghe. Invece di liberarle, le hanno intrappolate in un ciclo di lavori domestici sempre più standardizzati e invisibili: «La speranza era che la tecnologia domestica avrebbe sollevato le donne dal loro lavoro non pagato nelle case, un tema politico su cui il movimento femminista stava concentrando quasi interamente le sue lotte in quegli anni».

Il controllo dei corpi

Infatti, nel 1974, Joann Vanek dimostrò come la condizione femminile nel lavoro casalingo non avesse subito nessun cambiamento con l’introduzione delle tecnologie domestiche; l’industrializzazione del lavoro domestico e la meccanicizzazione del focolare aveva creato nuove aspettative, un aumento della produttività e nuovi compiti: «Lungi dal sentirsi liberate, le donne che lavoravano nelle case, che quotidianamente e instancabilmente portavano avanti tutto il lavoro di cura necessario al sostentamento della vita economica e politica di intere nazioni, si sentivano sempre più meccanizzate, ma anche sempre più affaticate».

Nell’analisi di Diletta Huyskes emerge con forza il tema del controllo dei corpi come uno dei nodi cruciali nell’intersezione tra tecnologia e genere: «Come può una società che per decenni si è basata esclusivamente sul corpo maschile come metro di misura garantire un trattamento equo in base al genere?». L’esclusione delle donne dalla tecnologia non ha significato solo tenerle lontane dai luoghi di potere, formazione e creazione, ma anche privarle della possibilità di utilizzare e beneficiare di tali innovazioni. Questo schema di esclusione, che continua a persistere anche dopo molti decenni, rappresenta ancora il modello dominante nella gestione del rapporto tra genere e tecnologia.

Nel libro si racconta anche come a partire dal 1980, il gruppo di ricerca su donne e tecnologia della Fondazione per la ricerca scientifica e industriale dell’Istituto norvegese di tecnologia (Sintef), con le studiose Anne-Jorunn Berg e Merete Lie, ha iniziato a riflettere sulle conseguenze pratiche dell’esclusiva presenza maschile nelle fasi di progettazione e sviluppo tecnologico. Inizialmente, le domande riguardavano l’impatto delle nuove tecnologie sulla vita delle donne. Tuttavia, con il progredire delle loro ricerche, la questione si è evoluta in: «Gli artefatti hanno un genere?».

Questo ha portato a un ampliamento della ricerca, dall’analisi delle donne all’indagine sul genere e sul design in generale, invece di concentrarsi solo sulle conseguenze delle tecnologie. Berg e Lie hanno scoperto che gli artefatti tecnologici riflettono un genere, poiché vengono progettati con specifiche configurazioni di genere in mente. In altre parole, nascono con un’idea chiara di chi dovrà utilizzarli.

AI e stereotipi sociali

Automobili, computer, smartphone sono alcuni esempi di tecnologie usate da uomini e donne, ma progettate principalmente tenendo conto delle caratteristiche e delle abitudini di un uomo medio: «La testimonianza più forte degli ultimi anni sulle persistenti disuguaglianze di genere nel design di ciò che diamo più per scontato l’ha scritta l’attivista e scrittrice Caroline Criado-Perez. Un catalogo di fatti e cifre che raccontano di un mondo a misura d’uomo, forse tra i più scioccanti quello sulle case automobilistiche statunitensi che solo nel 2011 hanno iniziato a effettuare crash test anche con manichini femminili. Prima di quel momento, tutti i dati a disposizione e gli interventi necessari riguardo agli incidenti automobilistici avevano a che fare esclusivamente con i corpi maschili, per cui l’accuratezza nei casi di corpi femminili era sconosciuta».

Nel panorama contemporaneo, l’intelligenza artificiale rappresenta la nuova frontiera di questa riflessione critica. Lungi dall’essere una tabula rasa, l’AI porta con sé i bias e le ingiustizie del passato, riflettendo le stesse logiche di potere che hanno caratterizzato le tecnologie precedenti: «Non solo incorporano cultura, valori, pregiudizi durante le fasi di design iniziale, ma continuano ad alimentarsi di questi input sempre nuovi durante la loro intera esistenza». Oggi, le nuove tecnologie sono progettate per mantenere lo status quo e perpetuare le disuguaglianze sociali esistenti, contribuendo a rafforzare ciò che la studiosa femminista Patricia Hill Collins chiama «la matrice del dominio», un sistema sociologico che comprende diverse forme di oppressione come il capitalismo, l’eteropatriarcato, la supremazia bianca e il colonialismo.

Uno degli esempi più emblematici dell’automazione di sistemi istituzionali già particolarmente discriminatori ed escludenti è quello della giustizia penale. Con l’obiettivo di trovare una formula matematica che potesse prevedere con precisione la probabilità di recidiva, sempre più dipartimenti di giustizia hanno sperimentato l’uso dell’intelligenza artificiale: quasi tutti gli stati nordamericani hanno adottato o testato software basati su AI per questo scopo. Questi sistemi calcolano le probabilità attraverso la valutazione del rischio: un punteggio di rischio elevato indica una maggiore probabilità che l’individuo commetta nuovamente un crimine in futuro: «Il calcolo che porta a questi punteggi è basato solitamente su delle domande rivolte direttamente alle persone imputate e i dati estratti dal casellario giudiziario. Si tratta di previsioni sul futuro in base a comportamenti passati, frequenze, statistiche, e i dati per addestrare modelli come questi spesso includono variabili proxy come “arresto” per misurare il “crimine” o qualche nozione di “rischiosità” sottostante».

Ripensare la tecnologia: giustizia e inclusione

Negli Stati Uniti, dove i dati relativi al crimine sono stati influenzati da decenni di pratiche di polizia basate su pregiudizi razziali, e dove alcuni gruppi sociali ed etnici sono stati storicamente più esposti a controlli di polizia, la mappatura del crimine non può essere considerata neutrale. A partire da questi presupposti, l’etnia viene tracciata indirettamente attraverso altre variabili correlate, come il codice postale o la condizione socio-economica.

Il risultato è un modello che presenta un tasso significativamente più alto di falsi positivi, cioè attribuisce un rischio elevato di recidiva a individui neri rispetto a quelli bianchi. Alcuni di questi strumenti mirano a prevedere i rischi di criminalità associati a singoli individui, basandosi sulla loro storia personale e su altre caratteristiche. È proprio ciò che è accaduto a Omar: giudicato da un software di polizia predittiva come un adolescente ad alto rischio di diventare un criminale, è stato trattato come tale fin da subito.

Come asserisce l’autrice, «L’intelligenza artificiale è molto più di una tecnologia. È un discorso utilizzato attivamente per plasmare le realtà politiche, economiche e sociali del nostro tempo». La tecnologia può essere un potente strumento di liberazione, ma solo se siamo disposti e disposte a interrogarci su chi ne controlla lo sviluppo e su chi ne beneficia davvero. È essenziale che il dibattito sulla tecnologia non rimanga confinato a un’élite specifica, ma diventi un discorso collettivo, aperto e inclusivo, in grado di affrontare le domande fondamentali su giustizia, equità e democrazia. In questo senso, Tecnologia della rivoluzione è un invito a ripensare il nostro rapporto con il progresso e con le forze che plasmano il nostro presente e il nostro futuro. Huyskes ci ricorda che ogni innovazione porta con sé una responsabilità, e che è nostro compito vigilare affinché il futuro tecnologico sia costruito su basi più giuste e consapevoli.

(Wired, 6 settembre 2024, apparso con il titolo No, la tecnologia non è neutrale ed ecco come ha condizionato la vita delle donne)