Forum Evaluation - Research

Apresentação – Ilan Chamovitz, em 19/03/2010, na COPPE, Universidade Federal do Rio de Janeiro.

“A experiência nunca erra; é só o julgamento que erra em prometer a si mesmo resultados que não são causados por nossos experimentos.”

Leonardo Da Vinci

“Um método fixo não é um método”

Provérbio chinês

Tempo estimado: 40 minutos.
Site default para a apresentação: http://api.adm.br/evalforum

Programação:

1.Contexto de Fóruns e Avaliação de Fóruns: 2 redes sistêmicas disponíveis em http://api.adm.br/evalforum/?page_id=363

2. Trabalhos em Grupo.
2.1 Técnicas de trabalho em Grupo. RS: 518 (entrar em http://146.164.3.41/Pii_GRS/pii_rsistemica.ASP e acessar RS Atalho  518)

2.2 Técnica de Grupos Operativos (Pichón-Riviere) em fóruns em http://api.adm.br/evalforum/?page_id=303

3. Análise de conteúdo. 3 fases: Pré-análise. Exploração do Material. Resultados.
http://api.adm.br/evalforum/?page_id=111

4. Classificação e Qualificação de mensagens. Apresentação de parte do trabalho da Sandra e Gunawardena,  e introdução ao CQMsg em http://api.adm.br/evalforum/?page_id=215

5. CQMsg - Apresentação do CQMsg (tem um vídeo em http://api.adm.br/evalforum/?page_id=111 ) e poderei acessar direto, também em http://api.adm.br/evalforum/?page_id=538 .

6.    O Modelo COPPE-Cosenza aplicado na avaliação de mensagens em Fóruns http://api.adm.br/evalforum/?page_id=559

7. Resultados:

1. Os 4 estudos de caso que utilizaram modelos de base nebulosa demonstraram estar correlacionados com o modelo estatístico clássico, sugerindo que o uso desses modelos para avaliação de fóruns, minimamente, equivale ao que vem sendo tradicionalmente utilizado: um indicador de desempenho construído com base na média dos valores nos itens avaliados .
2. O Estudo de Caso 1 sugere que os estudantes, em uma mesma turma, podem avaliar de forma consistente as mensagens trocadas por seus colegas em um fórum de discussão, para realizar  uma tarefa, em um processo no qual todos (estudantes-avaliadores e estudantes-avaliados) participaram.  O fato dos avaliadores terem participado em outro fórum sobre o mesmo assunto e terem frequentado a mesma turma presencial parece ter sido fundamental para esta elevada consistência, confirmando o que se encontra na literatura sobre análise de conteúdo, ou seja, a importância do avaliador estar inserido no contexto.
3. Este mesmo estudo (1) mostrou que o uso de indicadores baseados na teoria de Pichon-Rivière, conforme indicação inicial de especialistas (professores-tutores do curso da PUC-Rio) para avaliar as mensagens fora em geral uma boa escolha, embora houvesse a necessidade de aperfeiçoamentos.
4. O  Estudo de Caso 2 reforçou a observação do estudo de caso 1 quanto ao fato de estudantes avaliarem as mensagens de seus pares de forma mais próxima à nota final da disciplina.  A avaliação feita pelo professor se correlacionou fracamente com o resultado final da disciplina,  e a feita pelo pesquisador não se correlacionou com nenhum indicador.  Isto sugere que a avaliação com base nas mensagens em um grupo operativo deve ser feita por quem efetivamente participa da tarefa que lhe deu origem, não sendo recomendada a utilização de avaliadores externos, que efetivamente não executaram a tarefa, mesmo que o avaliador externo seja o próprio professor  que determinou a tarefa.
5. O Estudo de Caso 3 foi o que ficou mais próximo à questão principal da pesquisa (questão 3), na medida em que comparou o Modelo de Hieraquia Fuzzy COPPE-Cosenza  com diferentes modelos, indicando algumas vantagens desse modelo sobre os demais no caso de uma avaliação formativa, pois este modelo oferece aos aprendizes a oportunidade de saber, durante a sua formação,  até que grau atingiram em cada aspecto (quesito) demandado.
6. O modelo fuzzy COPPE-Cosenza Formativo que utiliza a Matriz de Cotejo e a média dos valores avaliados apresentou a melhor correlação com o indicador de desempenho final. Todos apresentaram equivalência. Benefícios no uso do modelo  para uma avaliação estritamente somativa não foram identificados.  A vantagem da escolha do Modelo de Hierarquia Fuzzy COPPE-Cosenza está na sua simplicidade de aplicação em cenários complexos, e na possibilidade de uso na avaliação formativa.
7. No Estudo de Caso 4 a quantidade de fatores condicionantes foi reduzida a três (Cooperação, Conteúdo e Análise Crítica) e o grupo observado foi modificado: do stricto (PPGI) para o lato (PGTIAE) sensu.  O estudo reforçou a equivalência dos modelos comparados.  Porém, em relação aos estudos anteriores apresentou considerável distância entre os modelos e a nota final da disciplina, sugerindo uma dependência dos resultados com a escolha dos critérios de avaliação, com a amostra e, certamente também, mais esforço nas fases de treinamento.
8. As ferramentas desenvolvidas durante a pesquisa – CQMsg e a Máquina de Inferência Fuzzy -  foram fundamentais para facilitar as avaliações em todas as suas etapas: planejamento, execução e cálculo dos valores que serviram para a comparação entre modelos. Ao longo dos estudos de caso essas ferramentas foram aperfeiçoadas.
8. Visão do Pesquisador:

Os elementos conceituais identificados nesta pesquisa e a tecnologia desenvolvida durante e após o processo de investigação deste trabalho  podem auxiliar pesquisadores, estudantes e professores em diversas áreas:

• Psicologia Social
• Administração
• Engenharia de Produção
• Educação a Distância

9. Fechamento

(Translation at the end of the page)

” Sistemas onde a complexidade é alta, ou seja, grandeza dimensional e grande número de partes interagindo entre si, possuem grande quantidade de incerteza pois não se tem muita informação a seu respeito.  Este é outro aspecto que indica o uso de um modelo fuzzy.  Simplesmente por que não há um modelo.  Neste caso, o modelo fuzzy representa um ponto de partida para o tratamento da incerteza.  À medida que este modelo gera conhecimento, ele pode, então, ser modificado  para incluir outros métodos de modelagem que sejam mais precisos.”(Timothy Ross, nota de aula, UFRJ, setembro de 2007. Transcrito e traduzido por um estudante.)

” Systems with high complexity,  with a great dimensional size and large number of interacting parts, have a great amount of uncertainty,  because we do not have much information on it. This is another aspect that sugests the use of a fuzzy model. Simply because there is no model. In this case, the fuzzy model represents a starting point for the treatment of uncertainty. As this model generates knowledge, it can then be modified to include other modeling methods that are more accurate”. (Timothy Ross, nota de aula, UFRJ, setembro de 2007. Transcrito e traduzido por um estudante.)