Kinect interpreta la lingua dei segni

La lingua dei segni viene utilizzata dai non udenti e dalle persone con problemi di udito. Nel mondo reale esistono gli interpreti (anche se il loro numero è limitato), mentre non è attualmente disponibile una tecnologia che permette di interagire direttamente con i computer. Gli scienziati di Microsoft Research Asia hanno collaborato con i colleghi dell’Institute of Computing Technology alla Chinese Academy of Sciences per implementare un sistema che sfrutta le funzioni di Kinect per riconoscere la lingua dei segni.

Nel corso degli anni, i ricercatori hanno esaminato varie tipologie di input, come guanti o videocamere, ma nessuno di essi rappresenta la soluzione più adatta. I primi sono scomodi da indossare e costano molto, mentre le seconde non funzionano bene in tutte le condizioni di illuminazione, quindi il tracciamento delle mani risulta poco preciso. Kinect invece permette ai non udenti di interagire in modo più naturale con i propri computer, offrendo una tecnologia a basso costo.

La lingua dei segni traduce le lettere dell’alfabeto utilizzando i movimenti delle dita, della mano e del corpo, oltre alle espressioni del viso. Grazie alla sua funzionalità di motion tracking, la periferica prodotta da Microsoft è quindi perfettamente adatta alla traduzione della lingua dei segni sullo schermo di un computer. Kinect per Windows “legge” i movimenti delle mani e visualizza le singole parole o intere frasi sul display.

Il software sviluppato dai ricercatori asiatici possiede due modalità di funzionamento: Translation Mode e Communications Mode. Nel primo caso, la lingua dei segni viene tradotta in testo o voce. Attualmente è supportata solo la ASL, ovvero la lingua dei segni americana, ma in futuro verranno aggiunte tutte le varianti, tra cui la LIS italiana. Nel secondo caso, è possibile avviare una conversazione tra una persona normo-udente e una persona non udente. Un avatar visualizza i segni corrispondenti al testo, mentre la persona non udente risponde con i segni che vengono poi convertiti in testo.

Il sistema è ancora un progetto di ricerca, ma ci sono buone probabilità che la tecnologia possa presto diventare un utile strumento per la vita quotidiana di milioni di persone che hanno problemi di udito.