por Dimitra Anastasiou e Eric Ras (Instituto de Ciência e Tecnologia do Luxemburgo)
Gestos 2D foram extensivamente examinados em computação de superfície e de mesa interativa, tanto no contexto de treinamento de conjuntos de dados predefinidos quanto “em estado selvagem”. O mesmo não pode ser dito dos gestos 3D. A literatura atual não aborda o que está acontecendo acima das interfaces de mesa, nem aborda a semântica.
Ullmer e Ishii descrevem interfaces de usuário tangíveis como dando “forma física à informação digital, empregando artefatos físicos tanto como ‘representações’ quanto como ‘controles’ para mídia computacional”. O projeto “Gestos em Interfaces de Usuário Tangíveis” (GETUI) [L1], combinou análise de gestos 2D e 3D com interfaces de usuário tangíveis (TUIs) com o objetivo de alcançar uma avaliação baseada em tecnologia de resolução colaborativa de problemas.
Realizámos estudos exploratórios de utilizadores em duas escolas secundárias no Luxemburgo e uma na Bélgica com 66 alunos. Utilizamos o display interativo multiusuário MultiTaction MT550 e uma câmera com detecção de profundidade Kinect v.2.0 para registrar dados 3D relativos aos participantes. A tarefa dos participantes, apresentada como um cenário de micromundo no dispositivo MultiTaction, era construir uma rede elétrica colocando e girando objetos tangíveis ou widgets, que representavam instalações industriais (centrais elétricas a carvão, parques eólicos e parques solares) que produzem eletricidade (Figura 1). O design e o desenvolvimento do cenário do micromundo foram feitos através do COllaborative Problem Solving Environment (COPSE), que é uma estrutura de software nova e única para instanciar micromundos como atividades colaborativas de resolução de problemas em interfaces de mesa tangíveis.
Figura 1: Cenário Microworld na TUI.
Utilizamos a câmera Kinect para explorar o comportamento dos participantes durante a resolução colaborativa de problemas. O principal problema que enfrentamos com o Kinect foi a identificação do usuário. Como é comum em ambientes multiusuário, os usuários se moviam frequentemente para explorar diferentes parâmetros na TUI, resultando na perda ou troca de seus IDs iniciais, levando à interpretação incorreta dos dados de registro. Além disso, a iluminação e a posição do Kinect tiveram que ser selecionadas cuidadosamente. Uma limitação técnica adicional é o reconhecimento de gestos baseados nos dedos, incluindo emblemas (substitutos de palavras) e adaptadores (gestos sem consciência utilizados para gerir os nossos sentimentos). Outra desvantagem relacionada à pesquisa é a definição de gesto e principalmente de gestos cooperativos. Quando exatamente um gesto começa e quando termina? Um gesto geralmente passa por até cinco fases: preparação, retenção pré-golpe, o próprio golpe, retenção pós-golpe e retração. Em nossa configuração TUI, o tipo de gesto mais proeminente é apontar. E se, durante a preensão pós-golpe de um usuário A, o usuário B estiver na fase de preparação de seu próprio gesto? Consideramos gesto cooperativo como uma sequência de gestos quando dois ou mais gestos, o primeiro dos quais é sempre apontar, são executados simultânea ou consecutivamente por vários usuários (não pelo mesmo usuário). Porém, o impacto do gesto cooperativo deve ser anotado manualmente, pois pode ser positivo, negativo ou nenhum.
Os gestos 2D, ou seja, gestos realizados na mesa, são registrados pelo software COPSE. Decidimos desenvolver uma aplicação para vincular o COPSE ao Kinect, para que todos os gestos realizados, tanto 2D quanto 3D, sejam registrados. Portanto, nossa aplicação é composta por dois componentes: i) o Client Reader (COPSE), que lê e transfere informações sobre o ID do objeto e as coordenadas da TUI dos objetos, e ii) o Body Reader, que recebe essas coordenadas e as converte em Coordenadas do Kinect usando uma matriz de transformação (veja a Figura 2). Esta matriz é criada pelo procedimento de calibração, onde a localização da TUI e seu plano são transformados no sistema de coordenadas Kinect. Mais informações estão disponíveis em relatório técnico [L2].
Figura 2: Aplicativo vinculando o reconhecimento de gestos 2D e 3D.
A análise e avaliação de gestos é importante tanto económica como socialmente, com muitos campos a utilizar gestos como entrada ou saída nas suas aplicações, por exemplo, telecomunicações, entretenimento e saúde. O comportamento não-verbal é de particular importância em ambientes colaborativos e virtuais. Até agora, poucos estudos abordaram os sinais não-verbais que as pessoas exibem em ambientes virtuais colaborativos.
Com o projeto GETUI examinamos as correlações entre gestos 3D e desempenho colaborativo na resolução de problemas usando uma TUI. Comparamos dois grupos (alto desempenho vs. baixo desempenho) e descobrimos que os gestos de apontar eram quase iguais entre os dois grupos (M = 25,7 para baixo desempenho e M = 25,6 para alto desempenho), enquanto os adaptadores (cabeça /coçar a boca, roer as unhas) foram usados ​​com um pouco mais de frequência pelos de baixo desempenho, enquanto os emblemas (polegar para cima, sinal de vitória) foram usados ​​principalmente pelos de alto desempenho. Abordámos e medimos a colaboração como uma das competências transversais do século XXI. As UIS e a visualização de cenários de micromundo podem ser utilizadas tanto para a educação e avaliação escolar formal, como para a formação profissional e a aprendizagem moderna no local de trabalho. Hoje, em ambientes de grupo, não é apenas o desempenho da resolução de problemas em grupo que importa, mas também as competências interpessoais, que incluem competências pessoais, sociais e metódicas. No futuro, planeamos aplicar os ativos do GETUI a ambientes virtuais colaborativos, a fim de criar e avaliar o comportamento não-verbal dos avatares.
 B. Ullmer, H. Ishii, H.: “Estruturas Emergentes para Interfaces de Usuário Tangíveis”, IBM Syst. Jornada 39, 915-931, 2000
 V. Maquil, et al.: “COPSE: Instanciando rapidamente atividades de resolução de problemas com base em interfaces de mesa tangíveis”, em Proc. da ACM sobre Interação Humano-Computador 1(1), 6, 2017
 D. McNeill: “Mão e mente: o que os gestos revelam sobre o pensamento” Chicago: University of Chicago Press, 1992.
Instituto Luxemburguês de Ciência e Tecnologia, Luxemburgo