I censori di Facebook e la loro formula

Nella selva di regole accatastate un po’ empiricamente e un po’ sinteticamente da Facebook per stabilire cosa cancellare e cosa conservare sul sito quando un contenuto viene segnalato per una violazione degli standard, una inchiesta di Pro Publica ha creato un sentiero, portando un po’ di luce. Quel che si vede, però, è decisamente strano e discutibile, come d’altronde era già stato notato.

Quando si vuole fare un esempio di ricetta segreta si cita sempre quella della Coca Cola. Oggi però accediamo ai contenuti online secondo una complessa serie di formule che nessuno conosce, un po’ come la famosa ricetta della bevanda: Facebook è nelle tasche di un imprenditore multimiliardario e in quelle del migrante che da un campo ai confini dell’Europa sogna di vedere Londra, Parigi, Berlino. Nessuno dei due sa come funzionano quegli algoritmi, mentre della persona più altolocata come di quella più emarginata le web company sanno tutto. Dentro questa cornice immensa, si gioca anche il ruolo di “censore” dei contenuti che Facebook riveste giocoforza, dovendo istruire i suoi fact checker e lo staff umano a supporto delle macchine su quali decisioni prendere a proposito di discussioni su sesso, propaganda, relazioni tra gruppi sociali, conservando il più possibile ed eliminando le discriminazioni e gli atti violenti.

Non si tratta certo di un lavoro facile, è indubbio che una certa opinabilità sia perdonabile. Il lavoro di Julia Angwin è tuttavia straordinario perché mostra se non altro un criterio radicale, qualcosa di semplice che ci può aiutare a gettare luce in un sistema molto (forse troppo) opaco. Si tratta della formula PC + A = HS. Cioè “Categoria Protetta più attacco, uguale discorso d’odio”. In questo modo, rivela l’inchiesta che mostra le slide di istruzione per lo staff, si rende più veloce il processo anche se non mancano i casi paradossali, come quello che dà il titolo all’articolo: “Facebook protegge i maschi bianchi ma non i bambini neri”.

Superb journalism from @JuliaAngwin. FB and the (failing) quest to establish a set of utilitarian global rules for speech. https://t.co/1lmQzbDu1j

— Fabio Chiusi (@fabiochiusi) June 28, 2017

La logica di funzionamento degli algoritmi

Il problema grave emerso da questa documentazione interna di Menlo Park è che gli algoritmi di secondo livello che i tagliatori di post di Facebook usano per distinguere tra il linguaggio d’odio e l’espressione politica legittima sono vittime culturali del politically correct inverso, per colpa del quale si finisce per avere più attenzione per i gruppi sociali più evidenti invece che per i sottogruppi e le singole storie. Il primo esempio fatto dalla giornalista viene dalla politica americana e dalle reazioni al terrorismo: a commento dell’attacco terroristico a Londra, un deputato repubblicano dello stato della Louisiana scrisse su Facebook che era necessaria una strage di musulmani radicalizzati. “Cercarli, identificarli e ucciderli”, dichiarò. Il post è rimasto al suo posto. Quando invece il poeta ed attivista di Black Lives Matter (movimento molto forte in questo momento negli Usa), Didi Delgado, ha scritto “Tutte le persone bianche sono razziste. Inizia da questo punto di riferimento, o hai già fallito” il post è stato rimosso e il suo account disabilitato per sette giorni. Per quale ragione?

Il motivo è che soltanto nel secondo caso c’è un attacco a un gruppo intero, i bianchi, un richiamo peraltro piuttosto delicato nel paese che visse gli scontri delle pantere nere negli anni Settanta, che già all’epoca nacque dalla reazione alle violenze della polizia contro gli afroamericani. Quindi questo genere di post non può trovare posto sul social e gli algoritmi sono istruiti per riconoscerli e cancellarli. L’incitamento di Higgins alla violenza è accettabile invece perché si è rivolto a un sottogruppo specifico di musulmani – quelli che sono “radicalizzati” – quindi è secondo questo punto di vista meno grave. Può apparire incoerente, ma è così che Facebook funziona.

Here’s the quiz Facebook has given to its “content reviewers” pic.twitter.com/zv8hS27H0A

— Julia Angwin (@JuliaAngwin) June 28, 2017

Facebook only deletes hate speech if it is directed against a group that it determines is a "protected category." pic.twitter.com/0P6qPYh9qD

— Julia Angwin (@JuliaAngwin) June 28, 2017

Chi di loro?

Una slide mostra una donna alla guida, due bambini neri, un gruppo numeroso di ragazzotti wasp. Chi di loro è categoria protetta? Bisogna sforzarsi un po’ e superare il proprio giudizio sociologico per intuire che la risposta, secondo Facebook, è la terza. Andiamo a rileggere le regole di Facebook: gli attacchi sono ritenuti tali quando sono diretti a categorie protette basandosi sul criterio universale di “razza, sesso, identità di genere, religione, origine nazionale, etnia, orientamento sessuale, disabilità / malattia”. Gli utenti godono di maggiore manovra quando scrivono, in modo aggressivo, violento, su “subsets” di categorie protette: gli uomini bianchi sono un gruppo, mentre le donne che guidano e i bambini neri, così come i musulmani radicalizzati, sono sottoinsiemi: una delle loro caratteristiche non è protetta, quindi la formula è PC + NPC = NPC. Categoria protetta più categoria non protetta, uguale nessun hate speech.

Facebook gets to its strange conclusion through an algorithm that determines who is a “protected category” (PC) and who is not (NPC): pic.twitter.com/WNnF9i9oCW

— Julia Angwin (@JuliaAngwin) June 28, 2017

Gli effetti paradossali

La seconda parte dell’inchiesta di Pro Publica è forse anche più interessante, occupandosi del dibattito politico-filosofico che sta dietro questi regole di comportamento. Da un lato, abbiamo professori di diritto che tuonano contro l’incorporazione neutrale, “daltonica” di categorie protette senza lo spirito della legge che nasce per proteggere le persone che ne hanno più bisogno, e non quelle che ne hanno di meno. Dall’altro l’azienda: Monika Bickert, responsabile globale delle policy, riassume benissimo l’obiettivo di Facebook:

Le policy non sempre portano a risultati perfetti, è la realtà di avere politiche che si applicano a una comunità globale dove le persone di tutto il mondo avranno idee molto diverse su ciò che è bene condividere.

L’obiettivo è puramente efficientista: applicare criteri a una comunità globale, quella a cui aspira Mark Zuckerberg nella sua visione da due miliardi di utenti. Se così stanno le cose, allora non dobbiamo trattare gli algoritmi come un banale strumento, stanno costituendo un intero mondo legale, spesso in contrasto con le concezioni di libertà e di responsabilità faticosamente iscritte nelle carte e negli emendamenti delle nazioni democratiche dopo la fine della seconda guerra mondiale.

A tutto questo si aggiunge la sfida della relazione privata con l’espressione politica collettiva. I documenti esaminati da Pro Publica indicano, ora senza alcun dubbio, che i messaggi di Donald Trump in campagna elettorale dovevano essere censurati, ma sappiamo che Facebook esentò queste affermazioni di Trump per ordine di Zuckerberg in persona, che evidentemente pensò di mantenere una neutralità politica dopo le polemiche che l’avevano accusato di manipolare il News Feed, anche se di fatto questa neutralità non è ormai più possibile per tante ragioni. Dunque che soluzioni si potrebbero mettere in campo?

Probabilmente, sono tre. La prima è tecnologica: migliorare il machine learning al punto di intuire più profondamente cosa offende e cosa deve essere cancellato considerando un numero più grande di variabili. La seconda è culturale: istruire lo staff umano, recentemente ingrossato, con logiche meno globali e più calate nelle sensibilità sociali e locali. Sapendo, naturalmente, che il geo-block su un social è piuttosto strambo se si considera come i contenuti vengono condivisi, e che c’è il serio rischio di creare un flusso parallelo di visite ai feed di paesi dove un certo blocco o divieto non si applicano (anche se va ricordato lo strappo alla regola nel caso Bataclan). La terza è tecnico-politica: ci deve essere maggiore trasparenza sugli algoritmi, è venuto il momento di immaginare un’accountability algoritmica, tutta da inventare. Magari nel frattempo introducendo processi di appello alle decisioni di conservazione e censura dei contenuti.

Insomma, c’è molto da lavorare. E il fatto che si conoscano criteri così impattanti solo per fughe di documentazione e inchieste giornalistiche non è la premessa migliore.