Google, machine learning contro i commenti molesti

Google ha presentato, in collaborazione con Jigsaw, una nuova tecnologia basata sul machine learning e finalizzata all’identificazione dei commenti offensivi online. Del resto può l’uomo combattere l’hate speech con le proprie sole forze? La risposta è negativa per una semplice regola: contro milioni di utenti che commentano e creano contenuto, possono essercene soltanto un piccolo numero operante nel controllo, il monitoraggio e il filtro dei contenuti considerati violenti, inopportuni o comunque fastidiosi. Non solo: la stessa impostazione della sottile linea rossa tra quel che può essere tollerato e ciò che non può esserlo è questione di difficile valutazione, imponendo reazioni “caso per caso”.

Il progetto Perspective nasce come un tentativo di reazione ad un problema che si fa sempre più concreto e per il quale la sensibilità è cresciuta molto negli ultimi tempi: “hate speech“, espressioni violente con le quali spesso vengono affrontate online alcune discussioni particolarmente sensibili. L’aggressività del commentatore è una caratteristica comune a molti, sfidando la netiquette e portando nelle discussioni un clima particolarmente ostile alla creazione di un contesto costruttivo e dialogico.

Immaginate di avere una conversazione con un vostro amico su una notizia che avete letto questa mattina, ma ogni volta che dite qualcosa qualcuno vi urla in faccia, vi insulta o vi accusa di un terribile crimine. Se così fosse, probabilmente mettereste fine alla conversazione. Sfortunatamente, questo avviene sempre più frequentemente online, quando la gente cerca di esprimere le proprie opinioni sul suo sito di informazione preferito e viene invece attaccata con commenti offensivi.

Perspective: come funziona

L’obiettivo perseguito è la creazione di una piattaforma a cui qualunque editore possa avere libero accesso per un controllo semantico dei contenuti portati dagli utenti tra i commenti al proprio sito Web. L’analisi non determina filtri, censure o quant’altro: semmai, effettua una valutazione di massima del contenuto e rimette quindi il tutto nelle mani dell’editore, il quale vede così facilitato il proprio compito di monitoraggio. Sarà il singolo editore a stabilire il comportamento da tenere successivamente nei confronti tanto del commento, quanto del commentatore molesto.

Perspective rivede i commenti e assegna loro un punteggio basato su quanto siano simili a commenti che gli utenti hanno indicato come “tossici” o tali da spingere le persone ad abbandonare la conversazione. Per imparare a identificare un linguaggio potenzialmente ingiurioso, Perspective ha esaminato decine di migliaia di commenti che sono stati etichettati manualmente da revisori umani. Ogni volta che Perspective trova nuovi esempi di commenti potenzialmente offensivi, o la sua valutazione viene corretta dagli utenti, migliora la capacità di valutare i commenti in futuro.

L’editore può ad esempio notificare il commento “tossico” ad un moderatore, al quale spetterà il compito di valutare il singolo contenuto con occhio umano; oppure «l’editore potrebbe utilizzare questo strumento per aiutare le persone della sua community a capire l’impatto di quanto stanno scrivendo, ad esempio permettendo agli utenti che commentano di vedere il potenziale di “tossicità” dei propri commenti mentre li stanno scrivendo». Perspective, insomma, è uno strumento di valutazione e non uno strumento decisionale: tocca all’editore stilare le proprie policy, usando il machine learning o come strumento di filtro, o come strumento educativo, o ancora come strumento di ranking per portare in maggior evidenza i commenti più utili alla costruzione di una discussione valida.

L’algoritmo trova, l’uomo sceglie

Il primo test è stato approntato sul New York Times, dove ogni giorno si registrano circa 11 mila commenti. Trattandosi di “machine learning”, però, i risultati sono destinati a migliorare solo con il crescere dei contenuti analizzati: a mano a mano che nuovi editori adotteranno Perspective sui propri commenti, andrà a crescere la precisione e l’affidabilità della tecnologia nella comprensione semantica dei commenti, delle parole e del contesto in cui i commenti stessi vengono prodotti. Per stabilire la bontà degli algoritmi occorre dunque attendere il tempo necessario e la costruzione di una base di dati sufficientemente ampia.

Mentre miglioriamo la tecnologia, stiamo anche lavorando per ampliarla. Il nostro primo modello è pensato per identificare il linguaggio offensivo, ma nel corso del prossimo anno ci piacerebbe avviare nuove collaborazioni per offrire modelli che funzionino anche in lingue diverse dall’inglese e che siano capaci di identificare commenti che siano attacchi personali oppure fuori tema.

Oltre al New York Times, Perspective annovera tra i primi tester anche Wikipedia (che ne prevede l’adozione ipotizzando successivi interventi umani a risoluzione dei flame registrati), The Economist e The Guardian.

L’approccio di Google è dunque di tipo meccanicistico: gli algoritmi non si assumono responsabilità decisionale, ma possono supportare l’uomo nell’identificazione di contenuti dannosi in attesa di una valutazione e di una policy che stabilisca quale regola applicare in presenza di contenuti ritenuti tossici. Agli editori il compito di delineare le policy migliori (punitive in casi estremi, formative in ottica di bene collettivo, valutative per la salubrità di un non-luogo online), agli algoritmi il compito di identificare gli elementi devianti nel flusso di una pacifica discussione.

Qualunque editore può fin da subito chiedere a Google e Jigsaw la possibilità di accedere alle API del servizio compilando l’apposito modulo.