Gestos das mãos expandem comandos do teclado

Redação do Site Inovação Tecnológica - 11/01/2022

Um espelho redireciona a câmera para o teclado, ampliando a interface.
[Imagem: Nalin Chhibber et al. - 10.1145/3486952]

Teclado otimizado por gestos

É possível usar a câmera embutida dos notebooks e outros computadores para dar um upgrade aos comandos passados à máquina pelo teclado.

Foi o que demonstraram Nalin Chhibber e seus colegas da Universidade de Waterloo, no Canadá, em uma tecnologia que eles chamam de Typealike, algo como "o mesmo que digitar".

O sistema funciona através de uma webcam comum, dotada de um espelho simples. O programa reconhece as mãos do usuário ao lado ou perto do teclado e gera os comandos com base nas diferentes posições das mãos.

O usuário pode, por exemplo, colocar sua mão direita com o polegar apontando para cima ao lado do teclado, e o programa reconhecerá isso como um sinal para aumentar o volume da música.

Diferentes gestos e diferentes combinações de gestos podem ser programados para realizar uma ampla gama de operações, inclusive para programas específicos, como editores de textos e planilhas.

Este gesto com a mão esquerda é suficiente para aumentar o volume do som no computador.
[Imagem: Nalin Chhibber et al. - 10.1145/3486952]

Além dos teclados

A ideia é facilitar a interação humano-computador, tornando a experiência do usuário mais rápida ao eliminar a necessidade de atalhos de teclado ou o trabalho com o mouse.

O espelho é necessário para redirecionar a câmera, normalmente voltada para a frente, tornando-a capaz de capturar as imagens do teclado e do seu entorno. O restante fica por conta do programa criado para interpretar as imagens.

"É uma rede neural, então você precisa mostrar ao algoritmo exemplos do que você está tentando detectar," explicou o professor Fabrice Matulic. "Algumas pessoas farão gestos ligeiramente diferentes e as mãos variam em tamanho, então você tem que coletar muitos dados de pessoas diferentes com condições de iluminação diferentes."

A equipe agora está trabalhando em outras aplicações para o seu programa Typealike, como na realidade virtual, onde ele poderia eliminar a necessidade de controladores manuais.

Mais tópicos