Todos os anos, o Inep divulga o resultado do Enem por escola. Essa divulgação acontece por etapas. A primeira delas é a divulgação restrita aos diretores das escolas, para que eles possam contestar os resultados caso observem alguma inconsistência. Desde esse momento a escola já pode se apoderar dos dados para usar a seu favor.
A disponibilização dos resultados preliminares no Enem 2013, por exemplo, foi precedida de grande expectativa por todos envolvidos com a educação básica, principalmente as escolas com ensino médio. Parte dessa expectativa acaba associada a críticas acumuladas desde 2009, quando começou a divulgação pública dos resultados por meio de uma planilha que contém a média geral de cada escola.
Por isso, conhecer as limitações dos relatórios é muito importante – só assim é possível olhar para as informações de maneira mais correta, ter outras formas de compreensão do cenário da escola e buscar pontos de apoio mais fortes.
A seguir, apresentaremos algumas limitações das informações divulgadas e como é possível tirar muito mais proveito da riqueza dos dados do Enem.
Participação por escola
O relatório do Inep apresenta o número de participantes e a taxa de participação (proporção dos alunos que compareceram os dois dias em relação ao total de matriculados). Entretanto, é possível falar muito mais sobre o envolvimento dos alunos com o Enem. Veja o que não foi contemplado:
- Número de alunos que se inscreveram e taxa de interesse, fundamental para avaliar o engajamento dos alunos da escola com o Enem;
- Comparação com outros grupos de escolas e outras edições do exame, permitindo avaliar o crescimento da taxa de participação e interesse dos alunos;
- Verificar quais são os maiores interesses dos alunos (ingressar em faculdades, testar conhecimentos, obter certificação, dentre outros);
- Conhecer o perfil dos alunos (eles trabalham? têm acesso à internet? etc)
Dados disponíveis na página da escola no site do Inep
O domínio dessas informações é fundamental para subsidiar o planejamento de ações eficazes voltadas ao aumento das médias da escola, visto que o baixo interesse dos alunos pode resultar em menores notas. Atualmente, o aluno pode utilizar os resultados da prova para entrar na universidade via SiSU, habilitar-se para o Prouni, obter a certificação de ensino médio, dentre outras. Entender o interesse dos estudantes nesses pontos é muito importante para ampliar o conhecimento da direção sobre o seus alunos, aumentando a eficácia de campanhas de comunicação.
Indicadores de nível socioeconômico e de formação docente
O Inep também avançou ao trazer indicadores de contexto – uma demanda antiga dos especialistas em avaliações. Através do nível socioeconômico e da formação dos professores, é possível criar conjuntos de escolas similares, ou seja, as mais indicadas para a comparação de resultados com a sua escola. Quando os resultados das escolas no Enem são divulgados de forma aberta, é possível acessar os dados das outras escolas para fazer as devidas comparações.
Dados disponíveis na página da escola no site do Inep.
Seleção de escolas semelhantes+Enem com identificação de média, posição, alunos e taxa de participação, no +Enem.
Mais do que a comparação com escolas do mesmo grupo de nível socioeconômico, o grupo de escolas semelhantes é a base para outras comparações muito relevantes que ajudam a identificar e a caracterizar os pontos fortes e as necessidade de aprendizagem da escola, a partir de dados de desempenho por habilidade e item.
Médias por área
O Inep ainda não construiu uma classificação pedagógica para a escala do Enem. Por isso, a divulgação de médias continua sendo pouco representativa para as escolas. Equivocadamente, ocorrem comparações entre as áreas e/ou o cálculo de uma média geral – uma escola pode ter aumentado o número de pontos e, ainda assim, ter tido um crescimento menor em comparação a outras, por exemplo.
O mais indicado, até por conta da TRI, é a análise da evolução dos resultados de uma mesma área ao longo dos anos, através da comparação com as escolas semelhantes, escolas do estado e escolas do país. Para ter acesso a esses dados, a própria escola precisa baixar todas as planilhas e com algumas fórmulas de Excel criar relatórios para analisar.
Médias por área e redação divulgados na página da escola no site do Inep
Médias contextualizadas nos relatórios do +Enem.
Um dos pilares do +Enem é permitir um outro olhar que não seja apenas o ranking, pois muitas vezes ele não reflete a realidade. Também detalhamos as médias máximas e mínimas e suas variações ao longo dos anos.
Média em redação
A avaliação de redação não utiliza a TRI. Ainda assim, os seus dados são muito ricos, já que as notas são atribuídas separadamente para cada uma das 5 competências avaliadas. Seria ainda mais interessante o conhecimento da média em cada competência – que hoje não é divulgada pelo Inep – pois potencializaria muito o trabalho de professores que trabalham com produção textual.
Análises disponíveis no +Enem
Através dos microdados, podemos não apenas verificar a média da escola em cada uma das competências, mas também correlacionar as notas nas competências com parâmetros qualitativos disponíveis no guia de redação do participante.
Distribuição das notas
A divulgação da proporção de alunos por faixas de rendimento é muito relevante para posicionar a representatividade da média e detalhar o aprendizado. Porém, como não há uma interpretação pedagógica da escala do Enem, a distribuição tem utilidade muito limitada.
O uso de recursos gráficos contribuiria muito para a representação e compreensão das proporções.
Distribuição dos alunos por faixa de rendimento para cada área do conhecimento, no relatório do Inep.
Distribuição dos alunos por faixa de rendimento, evolução das médias e participação nas edições anteriores, no +Enem.
Conexão pedagógica, o mais importante!
Nas notas técnicas que seguem a divulgação preliminar das médias por escola no Enem, o Inep sempre afirma a intenção de que os resultados do exame “auxiliem estudantes, pais, professores, diretores das escolas e gestores educacionais nas reflexões sobre o aprendizado dos estudantes no Ensino Médio e no estabelecimento de estratégias em favor da melhoria da qualidade da educação”. Infelizmente, esse objetivo não é alcançável com os dados que são divulgados nesta etapa, apesar da riqueza do exame que conta com uma matriz e resultados de milhares de alunos.
Para o uso pedagógico dos resultados, é preciso trabalhar os dados em sintonia com a dinâmica escolar e os papéis desempenhados por cada um na escola. Há uma dimensão pedagógica para a direção, coordenação e professores, que possuem demandas comuns, mas também demandas específicas.
Análises disponíveis no +Enem
Um excelente ponto de partida para análise pedagógica é a observação dos rendimentos em cada habilidade avaliada na prova. É preciso comparar ao resultado de outras escolas e associar ao conhecimento sobre o item em que ela foi avaliada: enunciado, a disciplina, o nível de dificuldade, os distratores e o objeto do conhecimento, ou seja, informações pedagógicas extremamente valiosas.
Analisando o rendimento dos alunos em cada item, cruzando com a indicação da habilidade avaliada no item, comparando o rendimento nas habilidades com as escolas semelhantes, permitindo à escola verificar em que aspectos está abaixo, acima ou na mesma condição das concorrentes, é possível entender detalhadamente as necessidades de aprendizado dos alunos, as oportunidades de melhoria e os pontos fortes em relação a outras escolas.
