Perguntas Frequentes Sobre o Criterion® Online Writing Evaluation Service
Utilizando o Criterion® Service para Ensinar
Como o Criterion service pode ajudar os estudantes?
O aluno recebem um feedback sobre o texto que escreveu enquanto ele ainda está fresco em sua mente. Ele descobrem imediatamente como seu trabalho se compara a um padrão eo que eles devem fazer para melhorá-lo. O Criterion service também oferece um ambiente para a escrita e revisão que alunos podem usar de forma independente. Esse ambiente, juntamente com a oportunidade de feedback imediato, proporciona a prática da escrita dirigida que é tão benéfica para os alunos.
Atualmente, existem 61 temas para nível superior, adequados para disciplinas de escrita do primeiro ano do curso e também para nivelamento; 64 temas para nível superior apropriados para disciplinas de escrita do segundo ano do curso; 10 temas voltados para preparação para ingresso em cursos de nível superior; 14 temas voltados para o Teste GRE®; e 35 temas voltados para o Teste TOEFL®.
A biblioteca de temas do Criterion também contém um conjunto de tarefas de escrita focadas nas competências básicas, destinadas ao 2º e 3º ano do Ensino Médio, chamadas de "College Level Preparatory". Esses temas são calibrados a um padrão de pontuação mais brando e podem ser alterados gradualmente, até um padrão adequado para o 1º ano de um curso de faculdade.
Além disso, quando os educadores querem que os alunos escrevam sobre um tema que não está disponível na biblioteca do Criterion, eles podem criar e atribuir suas próprias tarefas de escrita para os alunos. Embora as redações escritas a partir dos temas definidos pelo professor não recebam o score global, os demais recursos do feedback serão apresentados ao aluno assim que a redação for enviada.
Faculdades e universidade também podem trabalhar com a ETS para criar novos temas, adequados às suas necessidades.
A biblioteca de temas do Criterion abrange os seguintes gêneros: persuasivo, informativo, narrativo, expositivo e argumentativo.
O Criterion service também oferece um biblioteca de temas para Ensino Médio e Ensino Fundamental, começando pelo 4o ano.
De onde vêm os temas do Criterion ?
Os temas do Criterion vêm de uma série de fontes, incluindo os testes da ETS, como o NAEP®, o Teste de Nivelamento de Inglês projetado para Universidade Estadual da Califórnia, os testes da The Praxis Series™, o GRE e os testes TOEFL. Os temas do Criterion foram desenvolvidos com base em amostras representativas que utilizam a escala de pontuação global de 6 pontos globals com base em padrões de escrita aceitos internacionalmente.
Como o Criterion service lida com um estilo de escrita incomum?
O Criterion service procura por características específicas de organização, sintaxe e vocabulário. Se a redação em questão não é suficientemente semelhante às que já foram avaliadas e estão em seu banco de dados, o Criterion emite uma advertência, informando que não pode dar uma pontuação precisa. Essas advertências são geradas quando as redações são muito curtas, ou quando o vocabulário é incomum, ou quando o conteúdo não está adequado ao tema proposto.
Utilizar o Criterion service pode inibir a escrita criativa por parte dos alunos?
Não necessariamente. O Criterion service foi projetado para avaliar a escrita feita sob condições de testagem em que até os mais criativos se concentram em escrever de forma padronizada, com textos diretos e eficazes.
O Criterion service consegue detector cola ou plágio?
Não. O Criterion service apenas avalia a redação. Cabe à instituição garantir que os alunos estão trabalhando de forma independente e enviando suas próprias redações.
Os professores podem optar por exibir redações prontas como exemplo para alguns temas na tela de atribuição de tarefas. Os alunos podem ver os exemplos e referir-se a eles, enquanto escrevem seus próprios textos. Os exemplos de redações estão em formato somente leitura e não podem ser copiados e colados em outro documento.
Que informações o Criterion apresenta aos educadores?
Os professores têm acesso fácil e seguro ao portfólio de redações, relatórios e pontuação de cada aluno, bem como informações resumidas sobre o desempenho das classes.
Que informações o Criterion service apresenta aos alunos?
Normalmente, os alunos recebem feedback diagnóstico, bem como uma avaliação global, cada vez que enviam uma redação. No entanto, os professores podem bloquear os estudantes de verem os seus resultados - e pode optar por fazê-lo se decidirem utilizar Criterion service para avaliação. Os professores também têm a opção de permitir aos alunos o acesso aos seus próprios portfólios de redações, relatórios e pontuação.
Os professores podem limitar o feedback apresentado aos alunos?
Sim. Os professores podem optar por apresentar todas, algumas ou nenhuma das análises de feecback. Ao criar uma tarefa, os professores podem ativar ou não o recurso de análise de pontuação, bem como selecionar quais feedback diagnósticos serão apresentados.
Os professores podem limitar o acesso às tarefas passadas aos alunos?
Sim, os professores podem limitar o acesso ao selecionar as opções de cada tarefa. Por exemplo, a data e a hora em que a tarefa estará disponível são selecionadas pelos professores durante a criação da tarefa. Eles também podem limitar o número de vezes que um aluno pode escrever e revisar uma redação.
Os professores podem impor limite de tempo para as tarefas?
Sim. Muitos dos temas disponíveis na biblioteca do Criterion têm limites de tempo associados a eles. Ao criar a tarefa, os professores podem selecionar se desejam impor um limite de tempo, ou eles podem desativar essa função de modo que o prazo fique ilimitado.
Qual a diferença entre o feedback do Criterion service e o da ferramenta de Ortografia e Gramática do Microsoft Word?
A ferramenta de Ortografia e Gramática do Microsoft Word é geralmente utlilizada por pessoas com mais experiência na escrita, que buscam uma análise rápida de erros comuns. Por outro lado, os alunos que estão aprendendo a escrever precisam de um feedback mais detalhado, o qual é proporcionado pelo Criterion service.
O que é o Writer's Handbook?
O Writer's Handbook é uma ferramenta intuitiva online que os alunos podem acessar enquanto reveem o feedback diagnóstico. Ele explica cada erro ou recurso relatado, definindo-o e apresentando exemplos de uso correto e incorreto. Existem cinco versões do Writer's Handbook disponíveis para o ensino superior, incluindo uma versão em inglês e três versões bilíngües: Espanhol / Inglês, Chinês Simplificado / Inglês e Japonês / Inglês.
Utilizando o Criterion Service para Reforço, Nivelamento e Avaliação
Com que frequência a pontuação atribuída pelo Criterion está de acordo com as notas dadas pelos professores?
Na grande maioria dos casos, os pesquisadores da ETS encontraram ou exatamente a mesma pontuação ou uma diferença de menos de 1 ponto entre a pontuação atribuída pelo Criterion e um professor treinado para corrigir redações. Ambos utilizaram as mesmas orientações de atribuição de nota e o mesmo sistema de pontuação.
Como o Criterion service pode ser utilizado para aulas de reforço e aulas básicas de escrita?
Os professores podem passar tarefas baseadas utilizando os temas padrão do Criterion ou criar os seus próprios temas, dando aos alunos oportunidade para prática de escrita adicional. A biblioteca de temas do Criterion contém um conjunto de temas de escrita chamado "College Level Preparatory". Esses temas são calibrados a um padrão de pontuação mais brando e podem ser alterados gradualmente, até um padrão adequado para o 1º ano de um curso de faculdade. Os professores podem atribuir temas para incentivar os alunos a se concentrar em áreas problemáticas essenciais que vão melhorar a sua escrita. Os recursos de feedback imediato do Criterion service proporcionam motivação adicional para os alunos escreverem e revisarem suas redações, trabalhando de maneira independente. O curso de treinamento do Criterion informações mais detalhadas sobre sua utilização para aulas de reforço e de competências básicas de escrita.
Como as instituições utilizam a pontuação do Criterion para nivelamento?
Algumas faculdades direcionam os alunos para aulas de produção escrita com base nos resultados obtidos em uma redação avaliada pelo Criterion - ou a combinação da pontuação e outros indicadores. A pontuação eletrônica não deve ser a única base para uma decisão de nivelamento. O melhor é combinar essa pontuação a nota atribuída por um professor da faculdade, de modo semelhante à combinação geralmente feita entre duas notas atribuídas por dois professores diferentes. Se as duas pontuações forem diferentes em mais de um ponto, um segundo professor da faculdade também deve avaliar a redação.
Como as instituições utilizam o Criterion service para avaliação?
Algumas instituições utilizam as notas do Criterion para testes de saída - combinando uma nota do Criterion com a nota atribuída por um professor da faculdade, de modo semelhante à combinação geralmente feita entre duas notas atribuídas por dois professores diferentes. Se as duas pontuações forem diferentes em mais de um ponto, um segundo professor da faculdade também deve avaliar a redação. Algumas instituições utilizam o Criterion como pontuação de referência, atribuindo tarefas pelo Criterion em momentos específicos durante o semestre.
Como o Criterion service pode ser utilizado em um laboratório de escrita universitário?
Quando o Criterion é utilizado em um laboratório de escrita universitário, os monitores podem ter acesso aos temas, feedbacks e portfólios dos alunos. Eles também têm uma maneira de se comunicar com os professores sobre o progresso do aluno. A utilização do Criterion em um laboratório de escrita facilita a escrita em todo o currículo, especialmente quando os alunos podem usar o laboratório para verificar tarefas em andamento em todas as disciplinas. Proporcionar acesso a tema aberto proposto pelo professor permite que os alunos escrevam um texto sobre qualquer assunto escolhido por aquele professor. Os recursos interativos do Criterion promovem a comunicação entre o aprendizado em sala de aula e as atividades de apoio realizadas no laboratório.
Como os alunos se sentem em relação obterem uma pontuação atribuída por uma máquina?
A maioria dos estudantes de hoje já têm experiência com feedback eletrônico e estão se tornando cada vez mais confortáveis com a idéia de uma pontuação atribuída pelo computador .
O Criterion service pode avaliar redações sobre outros temas?
Sim. Os professores podem criar seus próprios temas paralelos aos que estão na biblioteca de temas do Criterion, e assim as redações dos alunos receberão a pontuação global normalmente.
Uma janela pop-up explica os requisitos, e um botão explica passo-a-passo como criar um tema dissertativo ou expositivo que poderá receber a pontuação.
O que é uma pontuação global?
As redações utilizadas para construir os modelos de pontuação foram avaliadas por corretores treinados e foram escritas por estudantes como avaliações com limite de tempo. Os autores não tiveram a oportunidade de rever, usar corretor ortográfico ou refletir sobre o que haviam escrito. Assim, quando os alunos escrevem sobre os temas do Criterion em uma aula regular, trabalhando em condições mais relaxadas, professores e alunos devem reconhecer que as notas dos alunos não podem ser comparadas precisamente com as dos modelos.
O Criterion inclui a opção de apresentar indicadores para cada critério avaliado, além da pontuação global e do feedback diagnóstico. Os indicadores por critério podem ser ativados ou desativados pelo professor na tela de criação de tarefas (Create Assignment).
•	Gramática, adequação à norma culta e pontuação (agrupados para um feedback mais eficaz)
•	Organização & Desenvolvimento
Se um critério apresenta mais erros/comentários do que o esperado para a pontuação global, uma mensagem será exibida para o aluno, indicando que o critério em questão precisa de atenção.
Essas mensagens servem como um sinal claro de que o nível de proficiência em um ou mais critérios não está de acordo com a pontuação global recebida para aquela redação. Os critérios que precisam de atenção são específicos para aquela redação e não necessariamente constituem um indicador da escrita do aluno em geral.
Por exemplo, em uma redação que recebe uma pontuação global de 5 em uma escala de 6 pontos, a expectativa de proficiência é que haverá relativamente poucos erros no uso da gramática e articulação, e poucas sugestões de melhorias em de estilo, organização e desenvolvimento. Sabemos disso porque o mecanismo de pontuação analisa esses componentes, entre vários outros, como parte do cálculo para a pontuação global. Se, no entanto, a redação inclui mais erros em gramática e articulação do que é típico para redações que normalmente recebem esta pontuação, uma mensagem de feedback para o critério em questão será exibida. Essa informação chama a atenção para aspectos específicos da redação em que as melhorias tendem a ter o maior impacto sobre o resultado global.
O feedback diagnóstico também apresentado pelo Criterion pode fornecer detalhes adicionais para ajudar a encontrar e abordar áreas mais fracas no texto produzido.
Qualquer indicador por critério apresentado é relativo à pontuação global. Ele indica que o nível de proficiência no critério em questão não é consistente com a pontuação global recebida para aquela redação e que é menor do que o esperado.
Como o Criterion service dá as notas/pontuação das redações?
O Criterion service é baseado em uma tecnologia chamada e-rater, que foi desenvolvida pela ETS. O e-rater compara uma nova redação com modelos de redações previamente avaliadas por professores de faculdade, procurando semelhanças na estrutura das frases, organização e vocabulário. As redações que recebem notas altas são aquelas com as características mais similares às redações que receberam as maiores notas no conjunto de modelos; redações que recebem a pontuação mais baixa são as que compartilham características com redações que receberam notas mais baixas no conjunto de modelos. Naturalmente, os modelos foram avaliados com muito cuidado e seu conjunto inclui um número suficiente de textos para cada nota possível.
Qual é a tecnologia utilizada na pontuação eletrônica?
O e-rater é um aplicativo de Natural Language Processing (NLP), um campo de tecnologia que utiliza métodos de computação para analisar características de texto. Os pesquisadores têm utilizado o NLP pelo ultimo 50 anos para traduzir texto de uma língua para outra e para resumir textos. Os mecanismos de busca na Internet atualmente utilizam o para buscar informações.
O e-rater utiliza o NLP para identificar as características nas redações já avaliadas que estão no conjunto de modelos e os armazena – com os pesos associados – em um banco de dados. Quando o e-rater avaliad uma nova redação, ele compara suas características com aquelas no banco de dados e assim atribui a pontuação.
Como o e-rater não está fazendo uma leitura de fato, a validade da pontuação atribuída por ele depende da pontuação das redações modelo a partir das quais o banco de dados do e-rater é criado.
Os alunos podem enganar o Criterion?
Sim. Como o e-rater não entende inglês de fato, ele pode ser enganado por um argumento ilógico, porém bem escrito. Os professores podem impedir que os alunos tentem enganar deliberadamente o Criterion anunciando que uma coletânea aleatória de redações será lida por professores. O Criterion também exibirá um alerta juntamente com a pontuação do e-rater quando uma redação apresentar certas características que merecem atenção em comparação com outras redações sobre o mesmo tema já avaliadas.
Os alunos têm que estar conectados à Internet para utilizar o Criterion?
Os alunos podem começar a escrever suas redações off-line, utilizando qualquer aplicativo de processamento de texto. No entanto, eles precisarão de uma conexão com a Internet para cortar e colar seus ensaios na caixa de envio de redações do Criterion para que ela possa ser avaliada e analisada. Para tarefas com limite de tempo, as redações devem ser escritas apenas online para garantir os mesmos padrões de avaliação para todos os alunos, dentro do limite de tempo estabelecido.
Posso importar os dados dos alunos do meu próprio banco de dados?
Sim, o Criterion tem capacidade de importação em vários níveis.
O professor pode usar o recurso <Advanced Import> para criar os níveis de curso universitário, curso e classes, importando os dados necessários para Criterion a partir de um arquivo em formato .csv.
A instituição também pode importar as informações dos alunos para o Criterion usando o recurso <Import Student Information> na tela "Classes Report".
As intruções para esses procedimentos são fornecidas pelo texto de ajuda e pelo Criterion® User Manual and Administrator Supplement.
Posso salvar os meus dados?
Sim, o Criterion tem os recursos <Export Report Data> e <Archive Portfolios>, os quais podem ser usados para criar arquivos de exportação em formato .csv que pode ser aberto pela maioria dos editores de texto e programas de planilha. Instruções detalhadas para ambos os recursos são fornecidas no Criterion® User Manual and Administrator Supplement.
Entendendo a Análise da Organização e do Desenvolvimento nas Redações dos Alunos
Por que os educadores valorizam o a análise automatic feita pelo Criterion de elementos relacionados à organização nas redações dos alunos?
Atualmente, existe uma ampla aceitação da tecnologia de correção automática de textos para avaliação em larga escala e ensino em sala de aula. Pesquisadores da área de educação incentivam o desenvolvimento de aplicativos de avaliação de textos que não apenas geram uma pontuação numérica para uma redação, mas também analisam a gramática, uso, articulação e estrutura do discurso. Em termos de ensino em sala de aula, o objetivo é desenvolver aplicativos que dão aos estudantes mais oportunidades para praticar a escrita de maneira independente, com feedback automatizado que os ajuda a revisar seu próprio trabalho, e, finalmente, melhorar suas competências de escrita. Essa tecnologia é um complemento muito útil ao ensino tradicional em sala de aula. Além disso, é muito mais eficaz para os alunos receberem feedback específico sobre seu próprio texto do que apenas comentários gerais. A capacidade do Criterion de analisar elementos organizacionais serve como um complemento fundamental para outras ferramentas do aplicativo que fornecem feedback relacionado à gramática, uso, articulação e estilo nos textos produzidos pelos alunos.
Quais são os elementos de organização analisados?
Essa tecnologia inovadora e exclusiva identifica os elementos organizacionais nas redações dos alunos, incluindo material introdução ou de apoio, tese, ideias principais, ideias de apoio e conclusões. O sistema toma decisões que exemplificam como os educadores executam esta tarefa. Por exemplo, quando avaliam as redações dos alunos, os professores fornecem comentários sobre a estrutura do discurso. Os professores podem indicar que não há tese clara, ou que a ideia principal não tem sustentação suficiente. Esse tipo de feedback do professor ajuda os alunos a refletir sobre a estrutura do discurso em sua escrita.
Como o sistema aprendeu a fazer a análise?
Professores de nível superior fizeram anotações em um grande número de redações abordando elementos organizacionais. O esquema de anotação reflete a estrutura organizacional de vários gêneros, como o gênero dissertativo, que são altamente estruturados. A utilização crescente da tecnologia de avaliação de textos automatizada permite coletar um grande corpus de textos dos alunos, que utilizamos para as anotações.
Como essa análise pode ajudar os alunos?
Enquanto os alunos vão se tornando escritores mais competentes, eles começam a pensar sobre a estrutura organizacional em seus textos. O Criterion oferece aos estudantes um feedback sobre este aspecto em sua escrita. Os alunos que usam a ferramenta pode ver uma análise abrangente dos elementos organizacionais existentes em suas redações. Por exemplo, se feedback do sistema indica para o aluno que sua redação não tem conclusão, ele pode começar a trabalhar mais nesse elemento organizacional. Esse tipo de feedback automatizado é um passo inicial para melhoria dos alunos em organização e desenvolvimento. Ele feedback também se assemelha ao feedback tradicional de que um estudante pode receber de um professor.
Entendendo o Feedback sobre Organização e Desenvolvimento
Como o sistema toma decisões sobre trechos na redação de um aluno e os rótulos organizacionais correspondentes?
O algoritmo desenvolvido para identificar automaticamente os elementos organizacionais é baseado em amostras de dados registrados por professores. Dois professores foram treinados para registrar dados das redações com os devidos rótulos organizacionais. Os professores rotularam cerca de 1.400 redações sobre temas apropriados para nível superior.
Qual é a taxa de concordância entre dois professores na tarefa de rotulagem?
Dois professores de nível superior estão geralmente de acordo sobre todas as tarefas de rotulagem.
Qual é a taxa de concordância entre o sistema e o professor?
A avaliação dos professores em geral está de acordo com o sistema. Na grande maioria dos casos, os pesquisadores da ETS encontraram ou exatamente a mesma pontuação ou quase a mesma pontuação, com menos de 1 ponto de diferença entre a nota atribuída pelo Criterion e a nota atribuída pelo professor treinado. Ambos utilizaram as mesmas orientações e o mesmo sistema de pontuação.
O sistema consegue rotular cada frase individualmente com um rótulo organizacional correspondente?
Sim. Às vezes, várias frases são associadas a um só elemento organizacional e um bloco de texto é destacado e aparece associado a um só rótulo. Mas de fato, cada frase é rotulada individualmente.
O sistema aplica os rótulos somente de acordo com a posição da frase?
Não. Várias características, incluindo as palavras utilizadas, informações de estratégia retórica, possível sequência dos elementos organizacionais e informação sintática são utilizados para determinar o rótulo organizacional.
Quais são os requisitos técnicos para acessar o site do Criterion?
O Criterion requer apenas uma conexão com a Internet e um navegador, sendo compatível com PC, Linux e Mac.
Para uma descrição completa de padrões mínimos e recomendados e sugestões de configuração de rede, consulte os requisitos do sistema no link System Requirements Sheet (PDF).