Introdução
Desde a sua fundação a Meritt produz inovação tendo como missão organizar os dados de avaliações, para apoiar melhores decisões nas escolas, instituições e sociedade. Nestes 7 anos realizamos muito, sempre buscando a excelência no tratamento dos dados, no design e na relevância da informação. O QEdu e o +Enem, são traduções deste nosso foco na qualidade.
Através do +Enem, temos contato com várias as escolas, e tomamos conhecimento das atividades que elas realizam, visando melhorar o desempenho dos alunos no exame. Os simulados são uma dessas atividades. Conversando com escolas parceiras constatamos que esse tipo de avaliação é muito frequente, não se limitando ao “treinamento” para o Enem.
Como possuímos uma plataforma especializada em provas do cotidiano escolar, vimos uma oportunidade em apoiar as escolas na captura e tratamento dos dados gerados nos simulados.
Para embasar nossas decisões, desenvolvemos uma pesquisa que na primeira fase levantou a frequência dessa avaliação nas escolas, cujo resultado divulgamos em nosso blog (ver aqui).
Constatado que os simulados ocorrem com grande frequência em todo ensino médio, a segunda fase da pesquisa foi identificar e qualificar a demanda que os simulados geram sobre as escolas. As conclusões dessa segunda fase da pesquisa, você encontra logo a seguir.
A terceira fase da pesquisa já é mão na massa. Nossa proposta é validar junto às escolas um modelo de serviço: simples, relevante e de baixo custo. Para isso oferecemos aos participantes da pesquisa (fase 2) a oportunidade de um piloto totalmente gratuito, através do qual a Meritt irá capturar e processar as respostas dos alunos em um simulado e produzirá uma devolutiva que detalhe o aprendizado. Os participantes que registraram o interesse em participar do piloto, já estão sendo contatados.
Os simulados e a demanda sobre as escolas
A seguir apresentamos nossas principais observações dessa segunda fase da pesquisa.
A participação na pesquisa foi oferecida aos assinantes do clipping do +Enem, nas publicações dos dias 07, 12, 19 e 26 de julho. 126 questionários foram iniciados, sendo 90 validados (12 semi-completos e 78 completos). O restante tinha 30% ou menos das perguntas respondidas e por isso foram descartados.
Cabia ao participante escolher a série ou conjunto de séries onde as demandas dos simulados eram maiores para as escolas. A 3ª série foi escolhida por 47% dos participantes, a 1º,2º e 3º séries por outros 31%.
Entre os participantes 44% são coordenadores e 26% professores. É importante observar que nos questionários relacionados a uma única série, a participação dos professores sobe para 60%
Na produção dos itens é grande o envolvimento dos professores que lecionam para os alunos. Em 61% dos questionários eles foram apontados como envolvidos no processo. Outros 24% dos questionários indicaram que terceirizados são responsáveis pela produção dos itens.
Quanto a melhorias na produção dos itens, observamos que 68% das respostas veem como alta prioridade melhorar o alinhamento dos itens em relação ao objetivo do simulado. 56% dos questionários apontaram também como alta prioridade ter itens inéditos. Maior rapidez e envolver outras pessoas na revisão do item, em nossa percepção não são tão prioritários.
Segundo a pesquisa, na correção dos itens, tem grande participação de processos automatizados. 56% utilizam leitora ótica ou scaner. Em em 40% dos questionários a correção ainda é manual (contando as respostas corretas ou digitando o gabarito).
Quanto a melhorias no correção das respostas, para as escolas a maior prioridade é reduzir os erros de leitura (46%) e ter maior rapidez (44%). Não envolver recurso humano da escola, não é uma prioridade, segundo os participantes da pesquisa.
Dados capturados precisam ser tratados para gerarem informações. Assim, foi apresentada uma pergunta de como os dados eram processados. O uso de planilha eletrônica domina com 47% das respostas, seguindo de softwares especializados, que geralmente acompanham as leitoras óticas ou scaners
Um dos objetivos do simulado é oferecer ao aluno uma referência em relação ao seu aprendizado. Por isso perguntamos na pesquisa, qual é a devolutiva realizada pela escola.
Em mais da metade (53%) das devolutivas é comunicado ao aluno a sua nota. Em 44% é entregue um detalhamento, seja em formato impresso ou arquivo ou plataforma online.
Buscando identificar a percepção sobre o que pode melhorar na devolutiva apresentamos algumas possibilidades e solicitamos aos participantes indicarem qual o nível de prioridade.
67% tem como alta prioridade ter resultados mais detalhados. Refazer os itens e ter maior rapidez na devolutiva foram também indicados como prioritários para 46% dos participantes da pesquisa.
Na última pergunta qualitativa, apresentamos outras possibilidades de melhorias, algumas relacionadas aos tópicos tratados anteriormente e outra não relacionadas. Veja a priorização, segundo as respostas obtidas.
77% indicaram como alta prioridade, ter dados sobre a evolução dos alunos ao longo dos simulados. Ter banco de itens é uma prioridade para 69% dos participantes. E um simulado mais personalizado nas demandas da escola, é uma prioridade alta para 57%.
Quanto a participação no piloto, 58 participantes indicaram suas escolas para sem contatadas na oferta desse serviço gratuito.
Conclusões
Analisando os dados, a primeira conclusão corrobora o que encontramos na primeira fase da pesquisa: as provas de simulados estão presentes em todas as séries do ensino médio. Tanto é que nesta segunda fase da pesquisa os questionários para o conjunto de 1º, 2º e 3º anos foi o segundo mais respondido 31% (o participante era convidado a escolher qual a série ou conjunto de séries ele observa a maior demanda de trabalho para a escola).
O segmento de professores é aquele com maior envolvimento nos simulados. Eles respondem a 66% dos responsáveis pela produção dos itens e provavelmente são a maioria daqueles responsáveis pela correção manual das respostas dos alunos (32%). Para as escolas isso representa o emprego de um profissional qualificado, para a realização de um trabalho simples.
O uso de tecnologia tem forte presença na correção das respostas 64% (leitora ótica, scaner ou digitação em planilha). Essa proporção contrasta com limitação na devolutiva ao aluno, visto que a comunicação da nota foi a única devolução em 53% das respostas. Nos parece que os softwares que acompanham os recursos de leitura ótica e scaner, são limitados, pois apesar dessas tecnologias serem utilizadas em 56% das escolas, o uso do software especialista está em 22%.
A expressiva proporção de pesquisados que indicaram ser uma alta prioridade a melhoria na devolutiva para os alunos 67% corroboram a nossa percepção que o tratamento dos dados é uma dificuldade para as escolas.