Interface de aplicação de reconhecimento de sinais de libras com assistente pessoal inteligente para automação residencial

Abstract

A população surda no Brasil e no mundo é expressiva, e com o envelhecimento da população aumenta também o número de pessoas com dificuldades auditivas. Em contraste a esta estatística, observa-se a crescente disseminação de tecnologias de Interação Humano-Computador (IHC) baseadas na fala e na escuta, tais quais os assistentes pessoais inteligentes como Siri, Cortana, Alexa, etc. Esta nova forma de interação com o mundo digital é aplicada hoje nos mais diversos contextos, mas vem ganhando força em aplicações de automação residencial. Este trabalho visa adaptar e acessibilizar estas tecnologias para o público surdo, permitindo a interação com os dispositivos assistente virtuais através da aplicação de técnicas de visão computacional para o reconhecimento de sinais de Libras. A partir da captura por vídeo de um sinal em Libras, o sistema dotado de algoritmo de aprendizagem de máquina é capaz de classificar o sinal realizado; o roteamento do resultado da classificação é feito através de uma rede de Internet das Coisas para então uma habilidade customizada de assistente virtual ser capaz de tomar uma ação dependendo do sinal de Libras identificado. O sistema de visão computacional foi treinado para identificar os gestos de mão referentes às letras A, B, C e D do alfabeto de Libras, cada sinal correspondente a uma ação de controle de uma lâmpada inteligente

The deaf population in Brazil and around the world is significant, and as the population ages, the number of people with hearing difficulties is also increasing. In contrast to this statistic, there is a growing dissemination of Human-Computer Interaction (HCI) technologies based on speech and listening, such as intelligent personal assistants like Siri, Cortana, Alexa, etc. This new form of interaction with the digital world is currently applied in the most diverse contexts, but has been gaining strength in home automation applications. This work aims to adapt and make these technologies accessible to the deaf public, allowing interaction with virtual assistant devices through the application of computer vision techniques for the recognition of Libras signs. From the video capture of a Libras sign, the system equipped with a machine learning algorithm is able to classify the signal produced; the routing of the classification result is done through an Internet of Things network so that a customized virtual assistant skill is then able to take an action depending on the Libras sign identified. The computer vision system was trained to identify hand gestures referring to the letters A, B, C and D of the Libras alphabet, each signal corresponding to a control action of a smart lamp