Instagram, una IA contro spam e commenti offensivi

Come tutti i social media anche Instagram è invaso giornalmente di migliaia di commenti offensivi che, analogamente allo spam, devono essere rimossi dalla piattaforma il più velocemente possibile. Il filtro annunciato ieri è basato sulla tecnologia DeepText sviluppata da Facebook un anno fa e ulteriormente migliorata per ridurre al minimo i cosiddetti falsi positivi. Ecco come funziona l’intelligenza artificiale che riesce a comprendere le parole scritte dagli utenti.

Una parola inserita in una frase può essere interpretata in vari modi. Solo gli esseri umani riescono a dedurne il significato analizzando il contesto. DeepText cerca di simulare il modo in cui il linguaggio viene elaborato dal cervello, sfruttando una concetto noto come “word embeddings”. Quando il sistema incontra una nuova parola cerca di comprendere il significato dalla altre parole nella frase. Lo spam su Instagram veniva inizialmente filtrato da un team di persone. Un simile lavoro è piuttosto monotono, quindi i commenti filtrati sono stati utilizzati per “addestrare” DeepText.

La IA analizza la semantica di ogni frase, considerando anche la sua fonte (chi ha scritto il commento). Dato che i risultati sono stati molto positivi, Instagram ha deciso di applicare lo stesso sistema ai commenti che violano le linee guida. Il commento classificato come offensivo o inappropriato viene automaticamente cancellato. Il filtro è attualmente disponibile solo per la lingua inglese, ma altre verranno aggiunte in seguito.

DeepText non ha tuttavia un’affidabilità del 100% (è pur sempre una macchina), ma Instagram ha lasciato volutamente un piccolo margine di errore per evitare l’eliminazione di commenti che sembrano offensivi, ma non lo sono, ad esempio quelli scritti per scherzo da un amico.