Microsoft usa Kinect per tradurre la lingua dei segni

Kinect non è solo una periferica da gioco, ma può essere utilizzato per diverse attività che hanno un grande impatto sociale. Microsoft Research Asia ha mostrato i progressi compiuti con il progetto Kinect Sign Language Translator che ha permesso di realizzare una sistema di riconoscimento della lingua dei segni, grazie anche alla collaborazione di due università cinesi. Kinect è in grado di interpretare i movimenti delle mani, consentendo ai non udenti di comunicare liberamente con altre persone.

Il sistema sfrutta le capacità della videocamera di Kinect per Windows di “leggere” le mani degli utenti. In modalità “traduttore”, il sensore riconosce le parole e mostra sul display la traduzione in cinese e in inglese. In modalità “comunicazione”, invece, Kinect interpreta intere frasi nella lingua dei segni in tempo reale, che sono scritte sullo schermo e lette ad alta voce. Attualmente sono supportate solo le lingue dei segni americana e cinese, ma in futuro verranno aggiunte tutte le varianti, tra cui la LIS italiana. Il video seguente mostra come il sistema possa essere utilizzato nella vita reale, ad esempio durante una visita medica.

La realizzazione del prototipo di Kinect Sign Language Translator ha richiesto diversi mesi di lavoro e la collaborazione tra esperti in differenti discipline, tra cui modellazione 3D, riconoscimento vocale e machine learning. La modalità traduttore offre già risultati quasi perfetti, mentre è necessario migliorare la modalità comunicazione, in particolare la velocità di riconoscimento. Attualmente il sistema riconosce 300 parole su un totale di 4.000, ma in futuro tutti gli ostacoli verranno superati.

Solo in Cina ci sono oltre 20 milioni di persone con problemi di udito, mentre nel mondo sono circa 360 milioni. È evidente quindi l’importanza di questo progetto. Kinect diventerà presto il mezzo grazie al quale verranno abbattute tutte le barriere, trasformando per sempre la vita di milioni di persone.