Learning evaluation in education online – evidenced based practice

Avaliação da aprendizagem em educação online – prática baseada em evidência

Isabel CF da Cruz*

* professora da disciplina Pesquisa e Prática de Ensino em Enfermagem, EEAAC-UFF.

 

Abstract: Problem: What are the tools to evaluate learning in education online? Method: integrative literature review from 2004-2009 at Scielo, Google Scholar, and Lilacs. Results: chat, forum, questionnaires, portfolio, and self-evaluation as tools for learning evaluation online. Conclusion: the tools and the learning managemen system itself promote a resource to monitoring learning and feed back to the teacher and the student also.

Keywords: learning evaluation; distance learning, virtual learning environments, e-learning, personnel development, internet

Resumo: Problema: desconhecimento sobre os instrumentos de avaliação da aprendizagem em educação online. Pergunta: Qual(is) instrumento/estratégia de avaliação da aprendizagem se mostra(m) eficaz para o aluno de educação online? Método: revisão integrativa da literatura, de 2004-09, nas bases Scielo, Lilacs e Google Scholar. Resultado: nos 4 artigos analisados foram identificados os recursos de chat, fórum, questionários, portfolio, auto-avaliação, entre outros. Conclusão: os recursos identificados e o ambiente virtual  per si propiciam à professora e ao aluno um meio objetivo para o acompanhamento e a retroalimentação do processo ensino-aprendizagem.

Palavras-chave: educação a distância; meios digitais; educação online (on-line)

 

Breve descrição do contexto

Se a inclusão dos meios digitais e da internet na prática educativa cria uma possibilidade de melhorar a educação [1]. No ensino de enfermagem, em especial, Sardo e Sasso[2] sugerem que as vantagens de um ambiente virtual de aprendizagem (AVA) utilizado como apoio ao ensino presencial, por exemplo, superam o apego de alunos e professores ao ensino tradicional. Todavia, minha experiência com o AVA[3] revela que maior do que o apego ao ensino tradicional é a necessidade de aprender novos conhecimentos, habilidades e atitudes, enfim, novas competências profissionais.

Superar o medo do novo e compreender que a partir da sinergia entre educação e as novas tecnologias informação e comunicação (TIC), com sua influência sobre as funções de cognição e interação, busca-se a melhoria da educação como um todo. Desta totalidade, destaco neste estudo uma parte: a prática avaliativa.

A avaliação da aprendizagem em educação online (ou seja, educação que acontece por meio de computadores ligados em rede na internet) exige senão uma revisão ao menos uma atualização, tendo em vista o que se faz na forma presencial em termos de avaliação nas diversas modalidades de educação.

Segundo Fenili et al[4] , a avaliação, de uma maneira geral, é permeada de subjetividade, normas, condutas e códigos, constituindo-se em instrumento de aprovação/reprovação como uma prática. No que se refere ao processo ensino-aprendizagem, desde o século XVI, conforme a pedagogia jesuítica, já existia uma atenção especial com o ritual das provas e exames. Contudo, o termo avaliação da aprendizagem é recente, tendo surgido em 1930, por Ralph Tyler, educador norte americano interessado em pesquisas sobre eficiência no ensino.

Descrição do problema

Concordo com Both[5] quando afirma que avaliar a aprendizagem do aluno significa, concomitantemente, avaliar o ensino oferecido. E é minha insatisfação com o ensino de enfermagem que ministro que me motivou a realizar este estudo. Afinal, em qualquer dos níveis escolares, representa o processo avaliativo uma das questões de grande dificuldade, sendo utilizado mais como instrumento de promoção ou punição do que como processo balizador da aprendizagem. Há, portanto, uma preocupação com a questão da interação de ação entre o ensinar e o avaliar.

Assim, à medida que se intensificam as pesquisas sobre como se dá a aprendizagem nos ambientes virtuais/online, igualmente aumenta o interesse sobre os instrumentos de avaliação para este ambiente que sejam capazes de acompanhar e verificar a progressão da aprendizagem e não apenas verificar a reprodução do conhecimento.

Surge então a pergunta deste estudo:

Qual(is) instrumento/estratégia de avaliação da aprendizagem se mostra(m) eficaz(es) para o aluno de educação online?

Processo de obtenção dos dados

Para responder à questão formulada, busquei material em 3 bases de dados: LILACS, Google Scholar e Scielo. Os critérios de inclusão dos artigos definidos, inicialmente, para a presente revisão integrativa foram: artigos publicados em português e/ou inglês, no período compreendido entre 2004-2009, que retratassem a avaliação da aprendizagem em ambientes online e tivessem livre acesso ao texto completo online.

As palavras-chave utilizadas foram: avaliação da aprendizagem; educação a distância; meios digitais; educação online (on-line); learning evaluation; distance learning, virtual learning environments, e-learning, personnel development, internet. Foram identificados 49 estudos entre livros, artigos e websites. A partir do grupamento “avaliação da aprendizagem e educação online, a amostra final desta revisão integrativa foi constituída de 5 artigos. Os dados dos artigos foram sintetizados na tabela a seguir.

Análise e interpretação

Os artigos sobre avaliação da aprendizagem em educação online estão sintetizados no quadro a seguir

Quadro 1 - Síntese de artigos incluídos na revisão integrativa

Autor(es)

Instrumento(s) de avaliação da aprendizagem em educação online

Conclusões

Rosa, M; Maltempi, MV, 2006

avaliação formativa: ambientes síncronos (“batepapo”) e assíncronos (“fórum”)

necessidade de ferramentas computacionais para auxiliar o feedback.

Rocha, JSY; Caccia-Bava, MCG; Rezende, CEM de, 2006

 

Fórum de discussão (webminar)

Auto-avaliação

O melhor indicador de desempenho do aluno é a profundidade do debate no seminário presencial

Pires, MA; Veit, EA, 2006

Fóruns de Discussão (escala)

um dos maiores desafios no uso de TICs é motivar o uso da informática como ferramenta cognitiva de aprendizagem

 

Leite, D et al, 2007

Auto-avaliação

Estudo sobre a experiência de avaliação participativa. No caso da educação online, verificaram que a avaliação se efetiva através da autocrítica e autogestão das aprendizagens dos sujeitos com o auxílio das TICs.

Laguardia, J; Portela, MC; Vasconcelos, MM, 2007

questionários

“grid qualitativo” (no. de mensagens enviadas, interatividade das mensagens, profundidade quanto aos tópicos)

Avaliação diagnóstica: inquéritos (web surveys)

Avaliação formativa: ferramentas síncronas (batepapo [chat]) e assíncronas (lista de discussão, fórum), mapa conceitual, portifolios, questionários e a retroalimentação informal

Avaliação somativa online: questionários de satisfação (smile sheets); pré e pós-testes; análise de artigos, documentos ou relatórios de trabalhos de campo escritos individualmente ou em grupo; e a auto-avaliação

Esses ambientes oferecem os meios para avaliações das habilidades metacognitivas, das estratégias de aprendizagem e do histórico das mudanças ocorridas no desempenho

 

 

 

A partir do que foi encontrado na literatura e sintetizado no quadro, verifiquei que os instrumentos utilizados para avaliação da aprendizagem do aluno de educação online podem depender da forma de interação e do momento no processo ensino-aprendizagem.

Quanto à forma de interação, esta pode ser síncrona ou assíncrona. A interação síncrona ocorre em tempo real, ou seja, as pessoas encontram-se conectadas simultaneamente em rede, comunicando-se de imediatamente. Na forma síncrona, o “chat” ou a “sala de bate-papo” foi o recurso citado[6] [7].  

Por sua vez, na interação assíncrona as pessoas se comunicam pela rede sem estabelecerem ligação direta ou em tempo real. Na forma assíncrona, o recurso mais citado para avaliação da aprendizagem foi o fórum de discussão (5,6)  [8] [9] . Também foram relacionados os instrumentos: mapa conceitual, portfólio e questionários (7).

No que se refere ao momento do processo ensino-aprendizagem, o recurso usado para a avaliação diagnóstica foi o questionário (7) .

Para a avaliação formativa, foram identificadas ferramentas síncronas (bate-papo [chat]) e assíncronas (lista de discussão, fórum, mapa conceitual, portifolio, questionário e a retroalimentação informal (7,9).

Para a avaliação somativa, foram identificados os questionários de satisfação do usuário (smile sheets), assim como a comparação entre pré e pós-testes; análise de artigos, documentos ou relatórios de trabalhos de campo escritos individualmente ou em grupo; e a auto-avaliação (7,9, [10]) .

Estratégias para mudanças

Avaliar para dar nota não é o que se deseja apenas. Todas as ferramentas identificadas na literatura não se prestam apenas para dar pontos, aprovar ou reprovar os alunos. São ferramentas do ambiente virtual de aprendizagem que propiciam ao aluno a possibilidade de reconhecer o que sabe e, principalmente o que não sabe. Assim, o aluno pode de modo mais rápido rever seu processo de estudo e, então, construir a competência que é esperada seja no tempo da disciplina ou posteriormente.

Independente do momento do processo de ensino-aprendizagem ou do tipo de interação, as ferramentas identificadas para o ambiente virtual de aprendizagem propiciam para a professora uma forma mais eficaz de avaliação processual, ou seja, de ensinar avaliando e avaliar ensinando.

Implicações para o ensino de enfermagem

Cabe observar que o ensino de enfermagem, seja em nível técnico, seja em nível superior, tem um aspecto muito especial e, na minha opinião, particularmente difícil: o desenvolvimento da competência clínica.

Fleury et al [11] definem competência como um saber agir responsável e reconhecido, que implica mobilizar, integrar, transferir conhecimentos, recursos e habilidades, que agreguem valor econômico à organização e valor social ao indivíduo. 

A competência clínica em enfermagem poderia então ser definida como um saber cuidar do paciente responsável e reconhecido, que implica em mobilizar, integrar, transferir conhecimentos, recursos e habilidades que promovam a manutenção ou recuperação da saúde do paciente, assim como o valor social do profissional.

Ensinar avaliando o desenvolvimento da competência clínica e avaliar ensinando o desenvolvimento da competência clínica é o desafio posto para a professora de enfermagem, seja na educação presencial, seja na educação online.

Ainda que o ensino de enfermagem online seja insipiente no Brasil[12], o seu desenvolvimento deverá garantir (ou recuperar) que

1-               as situações de aprendizagem possam  propiciar a transformação do conhecimento em competência clínica; e

2-               a avaliação processual da aprendizagem seja instituída no sentido de desenvolver a competência clínica do aluno.

Para tanto, há que se verificar se os recursos oferecidos pelo ambiente virtual de aprendizagem também permitem à professora de enfermagem balizar a aquisição do conhecimento clínico por parte do aluno.

É importante ainda que as ferramentas identificadas para avaliação da aprendizagem online sejam relacionadas às técnicas avaliativas utilizadas para a verificação do alcance de objetivos cognitivos (questionário discursivo, múltipla escolha, oral, solução de caso, etc), psicomotores (observação com roteiro e registro [atividade offline], prova prática [simulação], etc) ou psico-afetivos (estudo de caso, dissertação, entrevista, etc).

Novas informações sobre avaliação da aprendizagem em educação online

Este estudo tem limitações. Pois, além das informações obtidas sobre as ferramentas disponíveis para a avaliação da aprendizagem em educação online, os critérios de seleção da amostra excluíram websites e manuscritos referentes a recursos como a videoconferência em tempo real (Elluminate), a televisão e o “Second Life” ou ambientes de imersão que simulam as cenas clínicas.

Conclusões

Diante do que foi lido e da minha breve experiência em educação online, considero agora que avaliar a aprendizagem é avaliar o ensino oferecido, mas também o modo de aprender. Os estudiosos da educação enfatizam a necessidade de tornar a avaliação da aprendizagem um processo contínuo que ajude no desenvolvimento da competência. Em enfermagem, portanto, a avaliação da aprendizagem não pode e nem deve ser diferente.

No que se refere à educação online, o ambiente virtual é per si um instrumento que oferece à professora e ao aluno um meio objetivo, explícito, para o acompanhamento e a retroalimentação do processo ensino-aprendizagem em todas as suas etapas, em especial, a avaliação da aprendizagem. Quiçá, se feitos os devidos investimentos, o ambiente virtual de aprendizagem poderá se tornar também um instrumento para o desenvolvimento da competência clínica em enfermagem.

Assim, os instrumentos e as estratégias identificados neste estudo para avaliação da aprendizagem em educação online, tais como: “chats”, fóruns, entre outros, seguramente servirão para avaliar a qualidade do ensino prestado e a respectiva teoria de ensino-aprendizagem de base. Mas, também revelarão o modo do aluno aprender. Sem ingenuidade: esta característica específica de monitoramento da qualidade do processo de ensino-aprendizagem não interessa a todos os professores, nem a todos os alunos. E, cá entre nós, superar esta resistência será mais trabalhosa do que aprender as habilidades referentes às TICs!

Próximos passos

Diante das novas tecnologias de informação e comunicação, o próximo passo, sem dúvida, cabe ao professor e às instituições de ensino de enfermagem no sentido de desenvolver habilidades e competências quanto ao uso das TICs.

Paralelo à atualização e ao desenvolvimento de habilidades no uso das tecnologias de educação online, deve ainda o professor rever seu instrumental didático adequando-o ao universo multimídia.

Sugestões para professores/escolas de enfermagem

- Ensinar avaliando e avaliar ensinando. É assim o seu ( e da sua Escola) processo de ensino-aprendizagem?

- Computador, internet e ambiente virtual de aprendizagem. De zero a dez, sendo zero “nenhuma intimidade” e dez “muita intimidade”, qual o seu grau de conhecimento e habilidade quanto a estas ferramentas? Se sua resposta for 8 ou menos, busque ajuda especializada urgente.

Referências

[1] Valente, L; Escudeiro, P. Avaliação da Aprendizagem em Ambientes Online. 2009. Disponível em http://e-repository.tecminho.uminho.pt/bitstream/10188/70/1/Avalia%C3%A7%C3%A3o+da+Aprendizagem+em+Ambientes+Online.pdf

[2] Sardo P.Sasso G. Problem-based learning in cardiopulmonary resuscitation on a virtual learning environment – methodological research Online Brazilian Journal of Nursing. 2007 September 25; [Cited 2009 June 24]; 6(3). Available from: http://www.uff.br/objnursing/index.php/nursing/article/view/1180

[3] Cruz I. Moodle and nursing teaching – a brief experience report Online Brazilian Journal of Nursing. 2009 April 19; [Cited 2009 June 28]; 8(1). Available from: http://www.uff.br/objnursing/index.php/nursing/article/view/2280

[4] Fenili, R. M.; Oliveira, M. E.; Santos,  M. B.; Eckert, E. R. Repensando a avaliação da aprendizagem. Revista Eletrônica de Enfermagem., 2002, 4 (2): 42 – 48. 2002. Disponível em http://www.fen.ufg.br

[5] Both, IJ. Ensinar e avaliar são de domínio público: resta saber se ensinar avaliando e avaliar ensinando também o são. Revista HISTEDBR On-line, 2005, (18): 54 – 64. Disponível em http://www.histedbr.fae.unicamp.br/art06_18.pdf

[6] Rosa, Maurício; Maltempi, Marcus Vinicius. A avaliação vista sob o aspecto da educação a distância. Ensaio: aval.pol.públ.Educ.,  Rio de Janeiro, 14(50), Mar.  2006 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362006000100005&lng=en&nrm=iso>. access on24  June  2009.  doi: 10.1590/S0104-40362006000100005.

[7] Laguardia, Josué; Portela, Margareth Crisóstomo; Vasconcelos, Miguel Murat. Avaliação em ambientes virtuais de aprendizagem. Educ. Pesqui.,  São Paulo, 33 (3), Dec.  2007 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022007000300009&lng=en&nrm=iso>. access on24  June  2009.  doi: 10.1590/S1517-97022007000300009

[8] Rocha Juan Stuardo Yazlle, Caccia-Bava Maria do Carmo G., Rezende Carlos Eduardo M. de. Pesquisa-aprendizagem no ensino da política e gestão de saúde: relato de uma experiência com e-Learning. Rev. bras. educ. med.  [serial on the Internet]. 2006  Apr [cited  2009  June  24] ;  30(1): 73-78. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-55022006000100011&lng=en.  doi: 10.1590/S0100-55022006000100011.

[9] Pires, Marcelo Antonio; Veit, Eliane Angela. Tecnologias de Informação e Comunicação para ampliar e motivar o aprendizado de Física no Ensino Médio. Rev. Bras. Ensino Fís.,  São Paulo, 28(2), June  2006 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1806-11172006000200015&lng=en&nrm=iso>. access on24  June  2009.

[10] Leite, Denise et al . Avaliação participativa online e off-line. Avaliação (Campinas), Sorocaba, 12(3) Sept.  2007 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772007000300004&lng=en&nrm=iso>. access on28  June  2009.  doi: 10.1590/S1414-40772007000300004.

[11] Fleury, MTL; Fleury, A Construindo o conceito de competência. RAC, Edição Especial 2001: 183-196 [citado em 28 de junho de 2009] . Disponível em http://www.anpad.org.br/rac/vol_05/dwn/rac-v5-edesp-mtf.pdf

[12] Rodrigues Rita de Cassia Vieira, Peres Heloisa Helena Ciqueto. Panorama brasileiro do ensino de Enfermagem On-line. Rev. esc. enferm. USP  [serial on the Internet]. 2008  June [cited  2009  June  27] ;  42(2): 298-304. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342008000200013&lng=en.  doi: 10.1590/S0080-62342008000200013.