Você provavelmente já sabe que no dia 27 de novembro o Inep irá divulgar as médias do Enem 2013. Para muitas escolas, o momento dessa divulgação é estratégico devido à visibilidade promovida pela imprensa e à importância do Enem para os pais e professores. Um dos nossos propósitos é promover a inteligência no uso de dados e uma das nossas frentes de trabalho busca formar diretores e coordenadores para que conheçam profundamente o Enem e, assim, construam o posicionamento da instituição no momento da divulgação.
Selecionamos uma série de 10 perguntas que qualquer diretor ou coordenador deve ser capaz de responder para fazer uma boa avaliação dos resultados da escola – e também ter um discurso mais qualificado frente aos diferentes públicos.
Quais são as formas de divulgação dos resultados?
São três os meios de divulgação: site do Inep, planilha eletrônica e microdados.
- No site do Inep, caso a escola atenda aos critérios para a divulgação dos resultados, será possível visualizar o número de matriculados, o número de participantes, a taxa de participação, a média da escola em cada área do conhecimento e a média em redação. Para 2013, segundo o Inep, haverá a divulgação de indicadores de contexto (ver pergunta 5 abaixo). O acesso à página da escola será aberto a qualquer pessoa;
- Para a imprensa, o MEC disponibiliza uma planilha com o nome de todas as escolas e suas médias – de acordo com os critérios de divulgação;
- Os microdados são uma base que contém, detalhadamente, dados de perfil socioeconômico do candidato e os seus rendimentos em cada item (questão) da prova. O +Enem utiliza os microdados, pois são eles que permitem um olhar minucioso e pedagógico do desempenho dos alunos na avaliação. OBS: Nos microdados não há a identificação nominal do candidato.
É correto o cálculo de uma média para as áreas do conhecimento? E uma média geral que incorpore a nota de redação?
O uso da média geral só permite uma comparação muito superficial entre escolas. Apesar das notas de área e redação estarem em uma escala que varia de 0 a 1.000, ainda não houve equalização quanto a proficiência. Ou seja, 530 em linguagens e códigos não representa o mesmo que 530 representa sobre o domínio das habilidades de ciência da natureza. O uso de média geral ou global contraria inclusive orientações do Inep (órgão responsável pelo Enem) quanto ao uso das notas do exame. Sugerimos que a análise dos resultados da escola seja realizada separadamente para cada área do conhecimento e redação.
A escola com maior média é a melhor escola?
Não necessariamente. Ainda não há uma equalização das notas de cada área (ver pergunta 2) o que permitiria o cálculo de uma média global mais representativa. Além disso, pesquisas com avaliações em larga escala indicam que a nota de uma escola é influenciada por fatores que não estão distribuídos de forma equitativa entre as escolas: infraestrutura, formação dos professores, perfil do aluno, número de alunos por turma, etc. Dentre esses fatores, destaca-se o nível socioeconômico: escolaridade dos pais, acesso a meios culturais, expectativa de aprendizado, etc. Uma pesquisa de doutorado comprovou que até 75% da nota de um aluno pode estar relacionado ao nível socioeconômico. Trabalhar com a nota do Enem para definir as melhores escolas demandaria a ponderação de inúmeros fatores, o que ainda não é possível.
Existem escolas que usam recursos duvidosos para ter melhores posições no ranking?
Sim, porém, a grande visibilidade conferida ao Enem tem colaborado para um melhor escrutínio dos resultados apresentados por algumas escolas. Houve casos isolados de escolas que tinham exclusivamente turmas de 3º ano, as quais tiveram apenas inscrições de alunos com maiores médias – o que não chega a ser ilegal, mas é um artifício de avaliação, no mínimo, duvidoso. A divulgação desses fatos pela imprensa têm proporcionado uma melhor ponderação dos resultados pela sociedade.
O que são os indicadores de contexto citados na portaria do Enem?
O Inep ainda não divulgou quais indicadores serão utilizados para contextualizar as escolas. Porém, na divulgação dos resultados da Prova Brasil, o instituto utilizou o nível socioeconômico dos alunos e a formação dos professores. Acredita-se que será utilizado o perfil socioeconômico dos alunos. Há tempo que as pesquisas em avaliações de larga escala indicam que o aprendizado demonstrado pelos alunos sofre a interferência de vários fatores que não são diretamente relacionados à escola e o seu método de ensino. Ao divulgar alguns dados de contexto, o instituto espera que as escolas possam encontrar o grupo com o qual ela irá comparar melhor os seus resultados. O +Enem é a primeira e única plataforma com resultados do Enem que utiliza os elementos socioeconômicos para a definição dos grupos com os quais os resultados da escola será comparado.
Quais são as melhores escolas para eu comparar com os resultados da minha escola?
A comparação somente entre todas as escolas de um município, estado ou país pode ser um equívoco, pois é preciso levar em consideração diversos fatores para que você defina o grupo com os quais a escola irá comparar seus resultados. Dentre os fatores, pode-se utilizar: valor da mensalidade escolar, o perfil de alunos, a infraestrutura, o tamanho da escola, o número de alunos por turma, etc. Não há um consenso sobre quais são os critérios mais corretos.
Quais são as condições para ter o resultado da minha escola divulgado?
Repetindo uma definição iniciada em 2011, só terá o resultado divulgado – no site do Inep ou na planilha enviada à imprensa – a escola que possuir simultaneamente:
- 10 ou mais alunos participantes e
- 50% ou mais de participação, tomando como referência o número de alunos matriculados segundo o censo escolar, além do número de alunos que indicaram a escola no momento de inscrição e que compareceram aos dois dias de prova.
O +Enem, por ter uma divulgação restrita à escola e trabalhar com os microdados, é capaz de entregar dados detalhados sobre o aprendizado dos seus alunos (inclusive para as escolas que não tiveram resultados divulgados). Sua escola não teve os resultados divulgados? Saiba como proceder.
O que fazer se o resultado da minha escola não for divulgado?
Neste post indicamos detalhadamente o que a escola deverá fazer. OBS: Os microdados do Enem 2013 serão divulgados um mês após a divulgação das médias. Por isso, não será possível ao +Enem informar, no momento de divulgação das médias, o número exato de candidatos que se declararam concluintes do ensino médio na escola.
Posso comparar as médias com os anos anteriores?
Por utilizar, desde 2009, a teoria de resposta ao item (TRI) nas provas objetivas, os resultados por cada área do conhecimento são comparáveis ao longo dos anos. A evolução das médias de uma área poderá indicar o crescimento ou redução na proficiência dos alunos, sendo importante ponderar os resultados avaliando a variação na taxa de participação e à variação da média nacional. É importante frisar que a redação não é avaliada segundo a TRI e, por isso, os seus resultados devem ser comparados com ressalvas.
A taxa de participação aumentou mas os resultados caíram, o que isso significa?
O Enem é um exame voluntário. Como a sua relevância vem crescendo ao longo dos anos, em quase todas as escolas observa-se um crescimento elevado na taxa de participação desde 2009. A variação dessa taxa pode afetar o rendimento da escola. Isso pode ocorrer porque inicialmente os alunos mais engajados com os estudos demonstravam maior interesse em participar do exame, mesmo que ele não valesse para ingresso nos cursos do interesse deste aluno. Com o crescimento do número de universidades e faculdades que passaram a utilizar a nota no exame, os alunos menos engajados passaram a participar da prova, podendo provocar num primeiro momento, a queda nas médias.
No +Enem, estão disponíveis, junto aos resultados históricos da escola, os dados de variação no número e proporção de participantes.
Ainda quer saber mais sobre as melhores formas de analisar os resultados da sua escola? Na próxima semana, vamos falar sobre 10 erros comuns na análise dos resultados. Assine nosso Blog e continue nos acompanhando!
