Alexandria Ocasio-Cortez ha ragione: gli algoritmi sono razzisti

0
297
Questo post è stato pubblicato da this site
Alexandria Ocasio-Cortez speaks to her supporters during her election night party in the Queens Borough of New York on November 6, 2018. - 28-year-old Alexandria Ocasio-Cortez from New Yorks 14th Congressional district won Tuesdays election, defeating Republican Anthony Pappas and becomes the youngest woman elected to Congress. (Photo by Don EMMERT / AFP)        (Photo credit should read DON EMMERT/AFP/Getty Images)
Alexandria Ocasio-Cortez in un evento al Queens, New York. (foto: DON EMMERT/AFP/Getty Images)

L’hanno presa in giro, ma ha detto ciò che tutti gli esperti di intelligenza artificiale affermano da anni. Una firma di punta del foglio conservatore The Daily Wire, per esempio, ha scritto: “Alexandria Ocasio-Cortez afferma che gli algoritmi, che si basano sulla matematica, sono razzisti”. Come dire: ma di che cosa sta parlando? Non si è trattato di un caso isolato: per un giorno intero, repubblicani e conservatori si sono scagliati contro le affermazioni della nuova paladina della sinistra statunitense, neo deputata eletta a New York a 29 anni. Ocasio-Cortez, apparsa in un incontro con l’autore Ta-Nehisi Coates per il Martin Luther King Day, aveva detto che le tecnologie di riconoscimento facciale “hanno sempre queste iniquità raziali che vengono tradotte, perché gli algoritmi sono pur sempre fatti da uomini“.

I detrattori di Aoc, com’è stata ribattezzata, hanno le loro ragioni. D’altra parte, come potrebbero essere razzisti degli algoritmi di machine learning, guidati come sono dai dati, dall’analisi statistica, dall’informatica? Non possono che essere sistemi neutri e oggettivi, completamente immuni da tutte le storture e i pregiudizi del pensiero umano, giusto? Eppure, i casi in cui gli algoritmi hanno effettivamente discriminato le minoranze etniche, ormai, sono innumerevoli.

Uno dei più recenti ha come protagonista Amazon Rekognition, il software per il riconoscimento facciale progettato dal colosso fondato da Jeff Bezos e venduto alle forze dell’ordine di tutto il mondo. Nel luglio dello scorso anno, la Aclu (American Civil Liberties Union) ha testato il programma e pubblicato gli esiti dell’esperimento. Utilizzando un database di 25mila foto segnaletiche accessibili al pubblico, e confrontandole con le foto dei 535 parlamentari statunitensi, Rekognition ha individuato 28 politici eletti alla Camera e al Senato: vale a dire che ha confuso 28 parlamentari con i criminali le cui foto segnaletiche sono archiviate nei database della polizia.

Fin qui, ci troviamo davanti a un ulteriore esempio della (pericolosa) inaccuratezza di questi sistemi. Ma c’è di più: nel 39% dei casi, i parlamentari confusi per criminali erano uomini e donne di colore; che però rappresentano solo il 20% degli esponenti del Congresso. In poche parole, una persona di colore ha circa il doppio della possibilità di essere scambiata per un criminale rispetto a un bianco; perpetuando in questo senso gli stessi pregiudizi di cui è vittima una parte consistente della società occidentale.

1435850992_google-pho9to-600x335

Non si è trattato dell’unico caso: nel 2015 il sistema di riconoscimento immagini di Google ha iniziato a catalogare alcune persone di colore come “gorilla. Non essendoci modo di capire esattamente dove l’algoritmo di Google stesse sbagliando, ci si è limitati (temporaneamente) a vietargli di classificare qualunque cosa come gorilla. Ma è proprio l’impossibilità di capire dove, tra i miliardi di calcoli eseguiti da questi algoritmi, si annidi l’errore a rappresentare uno dei principali problemi dell’odierna intelligenza artificiale (un’incognita nota come Black Box). Nascosti dietro la patina di oggettività matematica, i pregiudizi degli algoritmi non sono solo difficili da individuare: spesso è molto complicato anche solo rendersi conto che qualcosa, nelle valutazioni dei sistemi che utilizzano il machine/deep learning, non sta andando per il verso giusto.

Come si fa ad accorgersi se un algoritmo utilizzato per decidere quali carcerati hanno diritto a uscire prima di galera – o chi può accedere a un mutuo – sta prendendo decisioni viziate da una qualche forma di pregiudizio? La missione, nella maggior parte dei casi, rischia di essere impossibile; amplificando ulteriormente i rischi connessi alla diffusione di sistemi di intelligenza artificiale a cui affidiamo, ormai, anche scelte molto delicate.

Fortunatamente, in alcuni casi si è compreso cosa stesse andando storto. Nell’ottobre 2017, per esempio, si è scoperto che il software di Google chiamato Cloud Natural Language API – che ha il compito di “rivelare la struttura e il significato dei testi” – giudicava negativamente alcune affermazioni relative alla religiosità e alla sessualità, come “sono ebreo” o “sono gay”. Non solo razzisti, quindi, gli algoritmi possono essere anche omofobi e antisemiti.

1508944613575-Screen-Shot-2017-10-25-at-111244-AM.png

Com’è possibile? Il problema è che molti degli algoritmi che analizzano il linguaggio sono allenati utilizzando i testi reperiti nei libri o negli articoli (che rappresentano un materiale dal quale è molto facile estrarre i dati). Di conseguenza, spesso e volentieri non fanno che riproporre i pregiudizi contenuti nel materiale umano che viene usato per il loro addestramento.

La ricercatrice Amanda Levendowski, della New York University, ha individuato cosa avesse compromesso la valutazione del software di Google: la decisione dei ricercatori di utilizzare vecchi testi di dominio pubblico e non avere così problemi di diritto d’autore. “La maggior parte delle opere oggi di dominio pubblico sono state pubblicate prima degli anni Venti, ha spiegato Levendowski. “Un database che faccia affidamento solo su questi lavori non potrà che riflettere i pregiudizi del tempo; e lo stesso farà il sistema di intelligenza artificiale allenato usando questi dati”.

Tutto questo si può riassumere in un modo di dire comune tra i programmatori di machine learning: “Se inserisci spazzatura, uscirà spazzatura”. Come dire, il lavoro compiuto da un’intelligenza artificiale sarà accurato in maniera direttamente proporzionale alla bontà dei dati che sono stati utilizzati per istruirlo. E questo vale tanto per l’analisi testuale quanto per il riconoscimento facciale: “Dipende tutto dai dati”, si legge per esempio sul New Scientist. “Se nel database ci sono molte più immagini di uomini bianchi che di donne di colore, l’algoritmo diventerà molto più bravo a identificare gli uomini bianchi”.

In questo modo, i software rischiano di valutare con precisione inferiore (o addirittura negativamente) tutti i casi in cui sono coinvolte minoranze etniche e non solo. Le conseguenze possono essere molto gravi: per fare solo un esempio, le persone di colore potrebbe essere scambiate per criminali più di frequente di quanto avvenga a donne e uomini bianchi. O anche non essere assunte dalle aziende che si affidano agli algoritmi per valutare i curriculum vitae.

Ovviamente, non è detto che le cose vadano sempre così: gli algoritmi non sono sempre razzisti, omofobi e antisemiti. Ma, come abbiamo visto, possono esserlo. Le affermazioni di Ocasio-Cortez dimostrano quindi una competenza non comune tra i politici di oggi su un tema così complesso e importante: “Gli algoritmi sono semplicemente automatizzati. E delle supposizioni automatizzate, se non sistemi i problemi, portano a pregiudizi automatizzati”, ha detto la deputata. Parole sante.

The post Alexandria Ocasio-Cortez ha ragione: gli algoritmi sono razzisti appeared first on Wired.