Facebook per iOS "vede" le foto con la IA

Ogni giorno vengono pubblicate su Facebook milioni di immagini. L’interazione con il social network è quindi di tipo visuale, ma ciò rappresenta un problema per non vedenti e ipovedenti che non possono partecipare alle conversazioni sulle foto. Ecco perché l’azienda di Menlo Park ha sviluppato una funzionalità, denominata Automatic Alternative Text, che sfrutta l’intelligenza artificiale per descrivere il contenuto delle immagini su iOS.

Oggi le persone che usano uno screen reader ascoltano solo il nome della persona che ha condiviso l’immagine, seguito dalla parola “foto”. Utilizzando il machine learning e il riconoscimento degli oggetti, Facebook consente ora agli screen reader di “leggere” una descrizione abbastanza dettagliata della foto, per cui l’utente non vedente o ipovedente ascolterà una frase del tipo “l’immagine può contenere tre persone, sorridenti, esterno”. La descrizione viene generata automaticamente come “image alt text”, un attributo HTML usato per fornire il testo alternativo per le immagini. Questo attributo è parte degli standard W3C sull’accessibilità, quindi viene riconosciuto dagli screen reader quando l’utente sposta il cursore sulla foto.

La funzionalità Automatic Alternative Text (AAT) ha richiesto oltre 10 mesi di lavoro. Facebook ha utilizzato il suo enorme archivio di foto per addestrare una deep convolutional neural network, in modo da ridurre al minimo gli errori di interpretazione. La descrizione viene generata considerando circa 100 “concetti” suddivisi in varie categorie, come natura (montagna, neve, cielo), trasporto (auto, aereo, nave, bicicletta) e persone (bambino, sorriso, barba). La frase finale, ovvero quella letta dalla funzione VoiceOver di iOS, viene costruita indicando nell’ordine il numero di persone presenti nell’immagine, seguita dall’elenco degli oggetti e dal luogo, ad esempio “l’immagine può contenere due persone, sorridenti, occhiali da sole, cielo, albero, esterno”.

Attualmente, AAT riconosce almeno un concetto in oltre il 50% delle immagini pubblicate su Facebook. La funzionalità è disponibile in inglese per gli utenti di Stati Uniti, Regno Unito, Canada, Australia e Nuova Zelanda. Nei prossimi mesi verrà estesa a tutte le lingue, paesi e piattaforme.