AVALIAÇÃO DA USABILIDADE DA INTERFACE HUMANO COMPUTADOR DE AMBIENTES VIRTUAIS DE EDUCAÇÃO (AVE) Autores: - PDF
Download "AVALIAÇÃO DA USABILIDADE DA INTERFACE HUMANO COMPUTADOR DE AMBIENTES VIRTUAIS DE EDUCAÇÃO (AVE) Autores:"
Lídia Escobar Brás
1 AVALIAÇÃO DA USABILIDADE DA INTERFACE HUMANO COMPUTADOR DE AMBIENTES VIRTUAIS DE EDUCAÇÃO (AVE) Resumo Autores: Gildásio Guedes Fernandes Prof. Dr. da Universidade Federal do Piauí Rua Demerval Lobão, 1530 Apto 201 CEP Teresina - Piauí Telefones: (86) (86) José Aires de Casto Filho Prof. Dr. da Universidade Federal do Ceará Rua Dom Tomás Acioli 1100 apto 1204 CEP Fortaleza Ceará Telefones: (UFC-Virtual) O presente artigo tem como objetivo macro, aplicar um modelo conceitual para avaliar a Interface Humano-Computador (IHC), especificamente, a usabilidade e a funcionalidade de Ambientes Virtuais de Educação (AVE). A partir daí, são objetivos específicos: (1) avaliar a usabilidade de ambientes virtuais de educação e, (2) analisar a funcionalidade de ambientes virtuais de educação utilizados em Educação a Distância. Aplicamos em três ambientes virtuais de educação, a saber: Moodle, e-proinfo e Solar utilizando o modelo em forma de checklist, contendo 09 critérios e 45 atributos, destinados a profissionais da área de educação. Dentre os muitos resultados obtidos, chama atenção a significativa vantagem para o Moodle, quando da avaliação dos três ambientes junto aos profissionais educadores. Palavras-chave: Educação, Avaliação, Digital-Virtual. Abstract This article aims to macro, apply a conceptual model to evaluate the Human-Computer Interface (HCI), specifically, the usability and functionality of Virtual Environments for Education (AVE). From there, specific objectives are: (1) evaluate the usability of virtual environments for education, and (2) examine the functionality of virtual environments for education used in the Distance Education. Applied in three virtual environments for education, namely: Moodle, e-proinfo and Solar and using the model in the form of a checklist, containing 09 criteria and 45 attributes, aimed at professionals in the area of education. Among many achievements, draws attention to significant advantage for Moodle, when assessing the three environments along with professional educators. Key words: Education, Evaluation, Digital-Virtual.
2 1. Introdução A definição constante na norma da International Organization for Standardization (ISO, N o ), Guidance on usability (1998), diz que usabilidade é a capacidade de um produto ser utilizado por indivíduos em busca de atingir objetivos específicos com eficácia, eficiência e satisfação termos estes também definidos na referida norma. No que diz respeito a avaliação da usabilidade da interface do sistema de computação, ambiente virtual de educação, investigamos a influência do design junto ao usuário. Quer dizer, diagnosticamos as características de projetos, a interação com o usuário e os padrões de engenharia de usabilidade recomendados na bibliografia especializada destacando-se os princípios de Nielsen (2000, 1993), as recomendações de Bastien e Scapin (1992, 1993, 1995), em Guedes (2009, 2004a, 2004b), o MAEP de Silva (2002), o roteiro do MEC (http://www.mec.gov.br/sesu/instit/shtmos), os princípios de Shneiderman (1998) e as heurísticas de Dias (2001), todos voltados para a avaliação da usabilidade da interface humano-computador. 2. Procedimentos Metodológicos Adotamos abordagem empírica e, ao mesmo tempo, centrada no usuário. Este tipo de abordagem se dá no momento em que testamos a interface dos AVE com usuários reais, com o adendo de que se trata de avaliação bastante empregada para estudar interfaces, dentro do prescrito por Scapin (1988), ainda que a dificuldade maior consista em localizar esses usuários. Para esse autor, na prática, o pesquisador empreende observações ou efetiva medidas oriundas do emprego pelos usuários de determinada interface após esta ser especificada de alguma forma, quer por maquete, quer por protótipo, quer por implementação. De fato, a pesquisa ora relatada exigiu nossa vivência em circunstâncias as mais diversificadas possíveis, indo de situações físicas a lógicas, perpassando pelo acompanhamento do usuário e de suas observações, além de, como inevitável, análise do ambiente das plataformas para apreender a proposta técnica dos designers. Tudo isto, à luz das prescrições disponíveis na bibliografia especializada para avaliação de interfaces de sistemas de computação visando desenvolver modelo conceitual para avaliar a Interface Humano Computador (IHC) em AVE na modalidade Educação a Distância (EaD), priorizando os ambientes virtuais de educação Solar, e-proinfo e Moodle por terem importância respectivamente local, nacional e mundial e serem bastante utilizados nas instituições de ensino superior. Mais especificamente, utilizamos modelo de avaliação sob o formato de checklist. Em sua condição de lista de critérios diferenciados, contempla as recomendações da área de avaliação de software no que diz respeito à usabilidade em contexto de uso e aos fundamentos da teoria da forma com o intuito de observar os elementos mediadores que existem na interface em forma de ícones, imagens e figuras. Consiste, pois, em método de avaliação de software, com pontos positivos e eventuais entraves.
3 3. Modelo Conceitual de Avaliação de IHC para AVE em Forma de Checklist O modelo conceitual de avaliação de IHC para AVE em forma de checklist está explicitado em sua totalidade em Guedes (2009) e é destinado à aplicação, preferencialmente, por profissionais da área de educação ou licenciados, com militância há pelo menos um ano na aplicação dos métodos e das técnicas nos processos de ensino e de aprendizagem na EaD. É dada prioridade ao enfoque educacional do ambiente e as respostas às proposições apresentadas devem ser sim (S), não (N) ou não se aplica, para diminuir o grau de dificuldade dos avaliadores nessa classe. O checklist foi destinado a avaliar a interface de acordo com os atributos de usabilidade à luz das teorias educacionais construtivista e socioconstrutivista e das recomendações da discutida ergonomia pedagógica da IHC, aqui resumida nos títulos dos quadros a serem avaliados: Títulos dos critérios de itens avaliados pelos educadores Critérios Apresentação geral da interface Legibilidade da interface Documentação on-line do sistema Avaliação dos princípios interativos Navegabilidade do ambiente Avaliação dos mecanismos de comunicação Meios para publicação de conteúdos Mecanismos de interação do ambiente Mecanismos de avaliação do ambiente Sobre a construção do checklist, esclarecemos que os itens de verificação do modelo são empregados de forma criteriosa e em ordem seqüencial de questões, critérios e aspectos a serem analisados, levando em consideração as atividades passo a passo. As questões representam os itens que devem ser examinados na interface. 4. Delimitação e Descrição da Amostra Utilizada na Pesquisa Como já dito, aplicamos o checklist a um conjunto de profissionais com experiência de, no mínimo, um ano no uso de AVE, denominados de educadores, bem como a um grupo com vivência em sistemas computacionais e atuando em EaD há mais de um ano. Ambos os segmentos estão compostos por usuários com conhecimentos dos princípios de avaliação de interfaces computacionais. A pesquisa foi feita com 34 usuários de ambientes virtuais de aprendizagem envolvidos como tutor, professor, aluno ou administrador de um curso na modalidade de EaD, caracterizados com experiência de grau médio envolvimento/conhecimento dos princípios de IHCe de EaD e dos princípios de IHC conforme quadro abaixo.
4 AVE Quadro Parâmetros para definição da amostra utilizada População / usuários Definição dos estratos Envolvimento/ experiência em EaD MOODLE 12 Educadores Médio E-PROINFO 13 Educadores Médio SOLAR 9 Educadores Médio 5. Análises da Aplicação do Modelo em Três Ambientes Virtuais de Educação Reiteramos que fizemos a inspeção da interface tomando como referência uma lista contendo recomendações e princípios de usabilidade, construída no contexto da avaliação de sistemas computacionais. Para Rocha (2003), trata-se de avaliação heurística. Pode ser construída também com atributos de usabilidade de forma generalista que sirva para avaliar a funcionalidade do sistema. Baseado nos princípios desse tipo de avaliação é possível, com menor custo financeiro e de fácil aplicação, analisar sistemas computacionais através dessa lista ou checklist, Esta foi, pois, a opção escolhida. Apresentamos os resultados da pesquisa e explicitamos a análise dos dados gerados, a partir da aplicação do checklist, que passa a ser o modelo do trabalho, cuja validação se fortalece graças à sua avaliação nos três ambientes virtuais de educação: Solar, e-proinfo e Moodle. Em termos estruturais, os resultados integram duas partes, observando-se que, apesar dos objetivos comuns, a forma de discussão dos resultados varia, em virtude da necessidade de abordar itens diferenciados na maior parte dos quadros apresentados. Concernentes aos docentes com atuação prioritária em cursos de licenciatura e / ou bacharelado, áreas de exatas e educação, com experiência mínima de um ano no uso e na aplicação de tecnologias digitais para educação. No decorrer da discussão, são eles denominados de educadores, pois pertencem a área das Licenciaturas na UFPI ou UFC. 6. Usabilidade dos Ambientes: resultados da pesquisa e discussão A participação dos 34 educadores se efetiva a partir de respostas ao checklist correspondente para os ambientes: Moodle, 12 usuários, e-proinfo, 13; Solar, 9. As respostas estão analisadas em quadros, compostos por vários subitens, totalizando 45. Em termos genéricos, atribuímos um escore para cada subitem: 1 para o S (Sim); 0 para a resposta N (Não). O Sim significa a característica desejável do ambiente. Esses subitens individuais estão totalizados num escore para os respectivos quadros. Os resultados de cada um deles, devidamente discutidos, são apresentados em gráficos com o percentual obtido por cada AVE, ao tempo que esclarecemos o que é válido para toda a discussão à medida que a plataforma é avaliada com média mais baixa que as demais, é comentada com mais detalhes e vice-versa. Isto porque, quando a plataforma atende aos preceitos, os comentários tornam-se desnecessários ou quase desnecessários. E mais, os valores por item correspondem aos valores brutos, a partir dos quais são calculados os percentuais obtidos. Esses valores dão origem às médias dos quadros gerais, cuja análise por item possibilita resultados mais detalhados.
5 A título de exemplo, explicito abaixo na Tabela 1 como os valores são calculados para em seguida se construir o respectivo gráfico, para os critérios Apresentação geral da interface e Legibilidade da interface. O procedimento se repete para obtenção dos resultados para os demais critérios. Temos na coluna total o máximo valor que o ambiente pode obter se atendendo a característica explicitada, se todos os itens fossem assinalados com 1 (Sim), aqui no caso do Moodle o mesmo obteve 102 pontos, fizemos a regra de três e encontramos o percentual para confecção do gráfico. Da mesma forma o cálculo se repete para os ambientes e-proinfo e Solar. Tabela 1 Cálculo dos valores para a confecção dos gráficos para o módulo I Sim Não Total Avaliadores Percentual Moodle e-proinfo Solar Apresentação geral da interface A apresentação geral da interface está contemplada no primeiro como um dos critérios, o qual integra 10 subitens referentes aos ícones, às figuras, à inter-relação das informações, às cores, ao design geral (apêndice I). O percentual do escore máximo obtido para cada ambiente consta do Gráfico 1. Gráfico 1 Avaliação da apresentação geral da interface dos ambientes Moodle e-proinfo Solar A partir daí, percebemos que o Moodle aparece como o ambiente melhor avaliado, seguido de perto pelo Solar. Em última posição, está o e-proinfo, possivelmente face aos problemas encontrados em sua interface, tais como: alta
6 densidade de informação, e menus na horizontal, de forma excessiva, o que pode dificultar a legibilidade e, como conseqüência, a leitura. Destacamos que sombra, alinhamento, brilho das partes que compõem o ambiente, contraste letra / fundo, tamanho da fonte, espaçamento entre palavras, entre linhas e entre parágrafos e comprimento da linha podem melhorar a usabilidade da interface. De fato, esses componentes, se apresentados de forma adequada, diminuem a carga de trabalho, expressão que diz respeito a todos os elementos da interface, que mantêm papel relevante na redução da carga cognitiva e perceptiva do usuário, e, portanto, no incremento de interação mais eficiente. Aliás, o critério carga de trabalho Bastien e Scapin (1992, 1993, 1995), está intimamente relacionado com concisão e com densidade de informação, elementos antes explorados no capítulo 5. Concisão, por sua vez, refere-se a quão sucinta é uma informação individual, enquanto a densidade informacional reporta-se à densidade do(s) conjunto(s) de informação(ões) apresentada(s) na tela. Isto é, um item pode ser relevante, mas não estar apresentado de forma concisa. Nesse caso, temos o critério concisão. Se os itens são supérfluos, nos defrontamos, agora, com a densidade de informação. Quanto ao excesso de menus, do e-proinfo às vezes, os respectivos títulos ficam cobertos por submenus, também na horizontal, o que termina por dificultar seu acesso aos internautas. No menu superior horizontal da página principal, ao passar o cursor sobre algumas opções, aparece um segundo menu, abaixo do primeiro. Se o cursor for deslocado da opção que abriu o submenu ou de alguma de suas opções, ele desaparece. Isto dificulta bastante a navegação, pois, às vezes, é preciso refazer o percurso para obter o link desejado. E mais, quando se clica em algum item do menu que abre algum submenu, este desaparece. Agora, o usuário precisa deslocar o cursor para que volte a aparecer. O menu principal apresenta-se com a propriedade pull-down, ou seja, quando se coloca o cursor sobre um link, suas opções cobrem algumas opções existentes na proximidade desse link, dificultando a visibilidade e, por conseguinte, uma eficiente navegabilidade. No que diz respeito ao Solar, na tela inicia, consta menu na horizontal. Diante da existência de espaço, deveria estar na vertical, seguindo o padrão vigente em ambientes voltados para aplicações web. Como perceptível, há considerável espaço em branco, e isto gera a sensação de uma tela sem informações importantes, o que significa afirmar que o Solar está com a densidade de informação com percentual abaixo do mínimo recomendado por Dias (2001): em torno de 50% a 80% da área visível na tela. 8. Legibilidade da interface O outro critério que apresentamos como demonstração, composto por quatro itens, estuda e analisa a legibilidade da interface, incluindo, principalmente, tamanho da fonte, fundo e contraste fundo-letra. Como exposto no Gráfico 2, os três ambientes conquistam boa avaliação por parte dos educadores participantes da pesquisa. Ao contrário do que acontece no item alusivo à apresentação geral da interface, em que o Moodle ocupa a primeira posição entre os três AVE, o Solar, aqui, é o mais bem avaliado, com 94% do escore.
7 Gráfico 2 Avaliação da legibilidade da interface ,8 94 Moodle e-proinfo Solar Decerto, a avaliação privilegiada do Solar advém do fato de apresentar em suas páginas distribuição de links de fácil leitura e melhor compreensão, sem quantidade excessiva de informações. Em contraposição, sua tela expõe problemas de usabilidade da interface. A cor do menu esquerdo dificulta a leitura, com pouca visibilidade, por conta do contraste branco com a cor laranja, o qual melhora, somente quando se passa o mouse em cima. O segundo problema refere-se ao tipo de letras, cujo menu é pouco visível, com fonte muito pequena, sobretudo, no caso do menu vertical. Na maioria das tarefas, o desempenho dos usuários piora quando a densidade de informação é muito alta ou muito baixa, acarretando a ocorrência mais freqüente de erros. É recomendável estabelecer níveis de detalhamento. Em primeiro plano, os aspectos mais importantes e gerais. Os detalhes equivalem a páginas suplementares, passíveis de acesso pelos interessados em aprofundar as informações iniciais sobre os temas, Nielsen (2000). Dizendo de outra forma, nem o ambiente deve parecer tão vazio nem deve ser ocupado em toda sua plenitude. Deixar pequenos espaços entre as partes integrantes facilita a visibilidade e o foco em determinados títulos ou cabeçalhos. Ademais, parte da área do ambiente deve conter informações sobre a navegação, sem extrapolar o percentual de 20% da página, conforme afirmação de Shneiderman (1998). Ainda em termos da logomarca Solar, talvez, o sol esteja fora do espaço e / ou do contexto na primeira página, em que a logomarca está no canto superior esquerdo, não muito próxima da sigla Solar, localizada no canto superior direito. Isto contraria um dos princípios do ambiente web, o da proximidade de textos ou de imagens, que mantêm relação entre si, de termos ou de figuras que se complementam. Reiterando Williams e Tollett (2001), recomendamos tal princípio como uma das heurísticas para desenvolvimento de ambientes virtuais de educação (AVE). Quanto às cores da plataforma Solar, são fortes e inadequadas para leitura prolongada, embora estejam condizentes com a cultura da terra (sol). A sugestão é do uso de um tom mais claro e mais ameno, sem a grande faixa laranja. 9. Síntese da Avaliação dos Ambientes Da análise dos dados constante no decorrer da pesquisa, verificamos, dentre os 09 critérios com seus 45 atributos da lista de verificação constante em Guedes (2009) a avaliação melhor do Moodle em cinco critérios, a saber: apresentação geral da interface (85%); documentação e ajuda on-line do sistema (86,6%); princípios educacionais
8 adotados (75%); navegabilidade da plataforma (86,1%); mecanismos de avaliação. O Solar mostra vantagem em três: legibilidade da interface (94%); mecanismos de comunicação (92,5); linguagens midiáticas para publicação de conteúdos (77,7%). Há igualdade entre Moodle e Solar, no item mecanismos de interação, com 100%. O e-proinfo, por seu turno, ocupa a segunda posição, acima do Solar, em quatro dos 09 critérios: documentação e ajuda on-line do sistema; princípios educacionais adotados; navegabilidade da plataforma; mecanismos de interação. Nos critérios em que o e-proinfo tem a segunda colocação, o Solar fica com a terceira. Embora o Moodle não fique em nenhum dos quadros em terceira posição, obtém a segunda posição em três deles, abaixo do Solar em: legibilidade da interface; mecanismos de comunicação; linguagens midiáticas para publicação de conteúdos. Definimos que, para uma avaliação menor ou igual (<=) a 70% do escore máximo, o ambiente, no quadro em pauta, demanda melhorias. Em outros termos, cremos que os AVE estudados não satisfazem as expectativas do público usuário. Mais especificamente, assim sintetizamos: (1) para o ambiente Solar: mecanismos de avaliação (30,1%); princípios interativos adotados (44,4%); documentação on-line do sistema (57,7%); (2) para o ambiente e-proinfo: mecanismos de avaliação (47,2%); apresentação geral da interface (59%); princípios interativos adotados (66%); navagabilidade da plataforma (67%). Observamos, ainda, que princípios interativos e mecanismos de avaliação estão entre os itens comuns ao Solar e e-proinfo como mal avaliados, ainda que estejam relacionados diretamente com a usabilidade da plataforma. A Tabela 2 explicita, de forma panorâmica, as situações de cada critério avaliado, mediante tal representação: a cor azul denota a melhor avaliação do critério para o ambiente; o preto, escore acima ou igual ao 70% ; a cor vermelha, índice inferior a 70%, o que significa resultado abaixo da média mínima limite para uma boa interface. Tabela 2 Panorama dos resultados dos quadros do Módulo I (Educadores) Títulos dos critérios avaliados Moodle e-proinfo Solar Apresentação geral da interface Legibilidade da interface Documentação on-line do sistema 86,6 81,5 57,7 Avaliação dos princípios interativos 75 66,6 44,4 Navegabilidade da plataforma 86,1 67,9 79,6 Avaliação dos mecanismos de comunicação 88,8 84,6 92,6 Meios para publicação de conteúdos 71,6 76,9 77,7 Mecanismos de interação do ambiente ,6 100 Mecanismos de avaliação do ambiente 76,1 47,2 30,1
9 10. Conclusão É fato que a menor nota obtida pelo Solar refere-se aos mecanismos de avaliação (30,1%), seguido dos princípios interativos (44,4%). São os índices que correspondem aos menores percentuais obtidos pelos educadores ao longo da pesquisa. Por outro lado, o Solar atinge excelente avaliação no quadro legibilidade da interface, com 94%. Em termos numéricos, enfatizamos que, dentre os 45 itens apresentados nos quadros, o ambiente Moodle leva vantagens em 21 em comparação com o Solar, nove e com o e-proinfo, que obtém escore maior somente em sete. O Solar empata em três itens com o Moodle e este empata com o e-proinfo num único elemento de análise. Dentre todos esses escores, merecem destaque alguns, em virtude da discrepância ou da proximidade. É o caso do item 5, Os links relacionados entre si, estão postos no mesmo nível do ambiente ou próximo das informações no contexto, de forma a criarem certo vínculo entre si?, para o qual o Moodle alcança 100%, o e-proinfo, 46% e o Solar, 55,6%. Outro ponto que chama a atenção é que na maioria dos itens do critério alusivo aos mecanismos de avaliação, tanto o e-proinfo quanto o Solar atingem resultado bem inferior ao do ambiente Moodle, explicita, em termos genéricos. Isto tudo permite inferir que os resultados da avaliação com os profissionais educadores, por quadros e por item mostram certo equilíbrio entre Solar e e-proinfo e significativa vantagem para o Moodle, que detém, pois, a preferência. 11. Referências Bibliográficas BASTIEN, J. M. C.; SCAPIN, D. L. Ergonomic criteria for the evaluation of human-computer interfaces. Rocquencourt : Institut National de Recherche en Informatique et en Automatique, (Relatório de Pesquisa, 156). BASTIEN, J. M. C.; SCAPIN, D. L. Evaluating a user interface with ergonomic criteria. International Journal of Human-Computer Interaction, [S. l.], v. 7, n. 1, p , BASTIEN, J. M. C.; SCAPIN, D. L. Validation of ergonomic criteria for the evaluation of human-computer interfaces. International Journal of Human-Computer Interaction, [S. l.], v. 4, n., 2, p , DIAS, C. Métodos de avaliação de usabilidade no contexto de portais corporativos: um estudo de caso no Senado Federal. Brasília, DF: UnB, f.Disponível em: <http://www.geocities.com/claudiaad/heuristicasweb.html>. Acesso em: 3 fev E-PROINFO. Ambiente colaborativo de aprendizagem a distância. Disponível em: < > Acessado em: 12/03/2006. GUEDES, G. Avaliação Ergonômica da Interface Humano-Computador de Ambientes Virtuais de Aprendizagem (AVA). Tese de doutorado apresentada no
10 programa de pós-graduação em Educação da Universidade Federal do Ceará em agosto de GUEDES, G. Avaliação de aspectos da interface humano-computador no ambiente MicroMundos versão In: ALBUQUERQUE, L. B. (Org.). Cultura, currículos e identidades. Fortaleza: UFC, 2004a.. G. A semelhança entre a mediação em Vygostsky e a medição na interface humano-computador. In: ENCONTRO DE PESQUISA EM EDUCAÇÃO, 3.; CONGRESSO INTERNACIONAL EM EDUCAÇÃO, 2., 2004b, Teresina. Anais... Teresina: Edufpi, 2004b. (CD-ROM e livro de resumos).. G. Um Checklist para avaliar uma plataforma virtual de aprendizagem. In: ALBUQUERQUE, L. B. (Org.). Currículos Contemporâneos: formação, diversidade e identidades em transição. Fortaleza: UFC, MOODLE: Modular Object-Oriented Dynamic Learning Environment. [Informações gerais]. Disponível em: <http://moodle.org/>. Acesso em: 5 agost NIELSEN, J. Projetando websites: designing web usability. Rio de Janeiro: Campus, Usability engineering. New Jersey: A. P. Professional, ROCHA, H. V. da et al. Design e avaliação de interfaces humano-computador. Campinas: Unicamp, SHNEIDERMAN, B. Designing the user interface. 3. ed. Massachusetts: Addison- Wesley Publ., p. SILVA, C. R. de O. MAEP: um método ergopedagógico interativo de avaliação para produtos educacionais informatizados, f. Tese (Doutorado em Engenharia de produção) Universidade Federal de Santa Catarina, Florianópolis SOLAR. Sistema On line de Aprendizagem. Disponível em: <www.vdl.ufc.br/solar>. Acessado em 22/03/2006.
DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA CURSO DE DOUTORADO EM EDUCAÇÃO BRASILEIRA
UNIVERSIDADE FEDERAL DO CEARÁ (UFC) FACULDADE DE EDUCAÇÃO (Faced) PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA CURSO DE DOUTORADO EM EDUCAÇÃO BRASILEIRA Gildásio Guedes Fernandes AVALIAÇÃO ERGONÔMICA