Forum Evaluation - Research

Para citar:

CHAMOVITZ, Ilan. Sistematização Empírica do Processo  para Avaliação de Mensagens em Fóruns Educacionais Orientados à Tarefa. In: Aplicação do Modelo de Hierarquia Fuzzy COPPE-Cosenza para a Avaliação de Grupos Operativos em Fóruns Educacionais na Internet, Anexo VI. Tese (doutorado) – UFRJ/ COPPE/ Programa de Engenharia de Produção, 2010.

SISTEMATIZAÇÃO EMPÍRICA DO PROCESSO  PARA AVALIAÇÃO DE MENSAGENS EM FÓRUNS EDUCACIONAIS ORIENTADOS À TAREFA

O planejamento do uso de fóruns de discussão em educação envolve várias fases.  A partir das experiências apresentadas e das informações analisadas, sugere-se a execução das seguintes atividades:

1. Definir os objetivos do fórum, geral e específico – Nesta etapa, o objetivo principal do fórum deve ser estabelecido. Deve-se questionar “para que” será realizado o fórum, quais os objetivos geral e específico.

2. Definir participantes e, se for o caso, papéis – Se houver mais de um grupo, devem ser definidos os participantes de cada grupo e o papel de cada participante: debatedor, moderador, líder, relator.

3. Definir a tarefa – a tarefa a ser estabelecida não deve ser confundida com o objetivo do fórum.  A tarefa serve como estímulo, faz parte do processo, da atividade do fórum. Durante a persecução da tarefa, mensagens são trocadas e podem ser analisadas.

4. Estabelecer critérios de avaliação e escala – Devem ser definidos quais os critérios serão levados em consideração para a avaliação das mensagens. Além disso, a escala para cada critério deve ser indicada.

5. Definir o período de duração – o período de duração para a troca de mensagens deve ser estabelecido levando-se em consideração a intensidade de comunicação esperada.  Se o grupo é altamente comunicativo e o período para o debate for  longo, haverá uma quantidade grande de mensagens para serem avaliadas, resultando em possível cansaço durante a avaliação das mensagens.

6. Definir limites para a postagem de mensagens -  Em alguns fóruns são estabelecido um número máximo de mensagens para cada participante; em outros, não existe limite.  Neste caso, pode haver uma prevalência de um participante perante os demais, e pode ser equilibrada pelo moderador.   Outro limite que pode ser imposto é o tamanho da mensagem:  alguns fóruns impõem um tamanho máximo de mensagem.  Desta forma, tenta-se diminuir a complexidade da análise, evitando que várias mensagens possam estar inseridas em uma só, o que representaria uma dificuldade maior para os avaliadores.

7. Estabelecer a unidade para o corpus para a avaliação –  Para a avaliação pode-se dividir a  mensagem em frases ou utilizar toda as frases em um só texto.

8. Estabelecer a sequência para a avaliação ( sequencial ou por autor) – Pode-se avaliar mensagem por mensagem, de forma sequencial, ou todas as mensagens de um determinado autor seguida do grupo de mensagens de outro autor, e assim por diante.

9. Estabelecer o período para a avaliação e se existem limites para revisitação -  O período para a avaliação deve ser estabelecido de acordo com o tamanho do corpus definido, ou seja, não faz sentido definir um prazo curto para avaliar uma quantidade grande de mensagens.  Além disso, deve-se considerar, também, o perfil dos avaliadores, com seus horários disponíveis: alguns só podem avaliar em um final de semana, outros em um dia específico da semana.

10. Exportar o banco de dados após a avaliação:  os dados resultantes da análise devem poder ser exportados (recuperados, armazenados para possível acesso)  para algum sistema computacional.

11. Importar em uma ferramenta (por exemplo, Excel ou SPSS) -  A utilização de sistemas computacionais facilitará a análise dos dados, que poderá utilizar a estatística clássica ou outros modelos, como por exemplo a lógica fuzzy.

12. Realizar os testes de consistência interna e externa – Testes de consistência podem identificar incoerências, avaliações com resultados duvidosos (por exemplo, um avaliador que atribui a todas as mensagens o mesmo valor).

13. Preparar um relatório –  O relatório deve conter a avaliação dos participantes e, também pode apresentar a avaliação do fórum.  Sugere-se a utilização de tabelas e gráficos, para complementar a descrição da performance dos estudantes e dos grupos.