A 6 meses do Enem, montagem de prova com itens inéditos testados é incerta

Faltando seis meses para a aplicação do Enem 2022, o Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) não informou como vai reunir um número suficiente de questões para a prova, conforme indica o processo de elaboração.

Documentos internos obtidos pelo UOL mostram que não há itens inéditos e pré-testados em quantidade suficiente para a produção de duas provas —uma para edição regular do exame e outra para o chamado Enem PPL (para Pessoas Privadas de Liberdade). Cada exame é composto por 180 questões, e cada uma delas deve ter a sua dificuldade determinada segundo o modelo de TRI (Teoria de Resposta ao Item), que leva em consideração, por exemplo, o porcentual de acertos da questão.

Relacionadas

MPF aciona Justiça para que Inep divulgue microdados do Enem e de censo

MEC: Deputado poupa ministro, chama Lula de cachaceiro e fala palavrão

Enem: Parecer libera repetir questões, mas pede que Inep explique critérios

Os pré-testes são importantes para medir essa dificuldade e deixar que as provas aplicadas no mesmo ano não fiquem muito diferentes uma das outras. Ter itens não testados pode gerar divergências entre os resultados. Por exemplo: um aluno pode acertar a prova inteira da edição regular e tirar 900, enquanto outro, que realizou a reaplicação, acerta tudo e fica com 850 —por causa dos 'valores' de cada item.

O Enem, considerado a principal porta de entrada ao ensino superior, está marcado para os dias 13 e 20 de novembro.

Desde o início do ano passado, servidores do instituto têm alertado para a falta de questões inéditas e testadas para produzir o Enem. Em novembro do ano passado, um plano de ação indicava a aplicação de um pré-teste marcado para março de 2022.

A ideia, segundo o documento ao qual a reportagem teve acesso, era testar itens em um universo de 88 mil estudantes com o mesmo perfil do público do Enem. O plano, no entanto, não seguiu como esperado.

Dos 88 mil participantes previstos, o Inep fechou a aplicação do pré-teste para 30 mil. Destes, apenas 8,7 mil se inscreveram e menos de 5 mil realizaram, de fato, a avaliação.

O Inep esperava testar 26 cadernos com perguntas, mas foi possível utilizar apenas sete. "Essa medida [teste de março] não supre a necessidade de realização de mais pré-testes no ano corrente para que haja disponibilidade de itens para a produção dos instrumentos do Enem a serem aplicados no biênio 2022/2023", diz um outro documento da área técnica.

Dias depois da publicação dos documentos, um grupo de gestores nomeados pelo presidente do Inep, Danilo Dupas, sugeriu repetir questões utilizadas em edições anteriores no Enem 2022. A proposta foi revelada pelo UOL, mas após a repercussão o instituto voltou atrás.

A reportagem questionou o Inep na última segunda-feira (9) sobre o planejamento da prova. O instituto se limitou a responder que as provas serão "compostas exclusivamente por itens inéditos". Mas não esclareceu se todas as questões inéditas foram pré-testadas ou se haverá mais testes antes do exame.

Durante a atual gestão do Inep, realizou-se pré-teste de itens, visando tornar o BNI (Banco Nacional de Itens) mais qualificado."
Nota do Inep

Especialistas citam crise no Inep

Em documento do fim do mês de março —após o pré-teste realizado neste ano—, os gestores do Inep informaram a quantidade de itens pré-testados e adequados. Na área de Linguagens, por exemplo, não há o número suficiente para fazer uma única prova —que deve ter 45 questões (veja quadro abaixo).

Para Claudia Costin, diretora do Ceipe (Centro de Excelência e Inovação em Políticas Educacionais) da FGV, a incerteza para montagem do Enem é mais um capítulo do "desmonte do Inep".

"A credibilidade de um órgão, que era reconhecido internacionalmente, vive uma grande crise por tudo que aconteceu ao longo dos últimos anos", afirma Costin.

Em novembro do ano passado, às vésperas do Enem 2021, mais de 30 servidores entregaram seus cargos em protesto contra a atual gestão. Especialistas classificaram o episódio como a pior crise do Inep.

Por que questões precisam ser pré-testadas?

Para uma única questão entrar no Enem, ela precisa inicialmente ser incluída no BNI. Depois, ela vai a pré-teste (veja quadro abaixo).

Tufi Machado Soares, professor titular da UFJF (Universidade Federal de Juiz de Fora), explica que um dos objetivos do teste é saber se determinado item tem "qualidade psicométrica básica". Ou seja, se ele vai mensurar a proficiência dos alunos naquilo que é esperado, se a pergunta não vai induzir ao erro ou até mesmo se não apresenta duas respostas corretas.

Um outro motivo de realizar o pré-teste é devido à TRI, utilizada para fazer a correção da prova.

"O entendimento desse processo da TRI é complexo, porque são usados modelos estatísticos. Mas é a forma para se ter uma prova equilibrada", avalia o professor.

Uma possível solução para uma prova com itens não testados, segundo Soares, é utilizar questões inéditas e calibrá-las após a aplicação do exame.

"Obviamente é preciso criar restrições técnicas, porque os itens não testados podem dar problema. Mas o Inep pode utilizar, por exemplo, uma quantidade mínima suficiente de questões não pré-testadas", opina. O modelo de correção TRI ajudaria na calibragem, para o resultado final.

Essa é a mesma sugestão dada pelo professor e ex-presidente do Inep Chico Soares em artigo publicado no UOL.

"O edital do exame teria de estabelecer que itens, cujo comportamento fosse considerado anômalo, seriam excluídos [na calibragem]", sugere o ex-presidente do Inep.

Ministro da Educação erra ao dizer que não se faz pré-teste há 9 anos

Em depoimento às comissões de Educação e de Fiscalização e Controle, na Câmara, o ministro da Educação, Victor Godoy, foi questionado sobre a elaboração do Enem 2022.

Godoy, que assumiu o cargo há menos de um mês, depois de ocupar a Secretaria Executiva da pasta, disse que o Inep não fazia pré-testes há nove anos. A informação dada pelo chefe do MEC (Ministério da Educação), no entanto, está errada.

"O banco de itens já tinha cerca de nove anos sem atualização. Para que a gente possa incluir novos itens, precisamos de escolas abertas, porque preciso que o professor elabore o item e preciso fazer a pré-testagem", disse o ministro aos parlamentares.

Documento do Inep, de março deste ano, mostra que o último pré-teste havia sido feito em 2019. Além disso, as aplicações desses itens não são feitas nas escolas.

A reportagem questionou o MEC sobre as informações dadas pelo ministro, mas não teve retorno. O espaço fica aberto para atualizações.