MEC aplicou pré-teste do Enem

Objetivo era verificar o nível de dificuldade das questões; especialistas se dividem quanto à segurança do exame<BR><BR>
<P>Renata Cafardo escreve para "O Estado de SP":</P>
<P>As questões que farão parte do Exame Nacional do Ensino Médio (Enem) neste ano foram testadas por cerca de 50 mil alunos do Brasil entre os dias 16 de junho e 3 de julho.</P>
<P>O exame foi realizado pelo Instituto Nacional de Pesquisas e Estudos Educacionais (Inep) do Ministério da Educação (MEC) em 10 capitais, entre elas São Paulo, Rio, Salvador e Manaus. A intenção era verificar quais perguntas seriam consideradas fáceis ou difíceis por um público semelhante ao que fará o Enem.</P>
<P>Especialistas em avaliação ouvidos pelo Estado se dividem sobre a segurança de realizar um teste desse tipo. Alguns deles temem fraudes, já que as questões passaram pelas mãos de milhares de alunos e pessoas contratadas para aplicar as provas. Outros argumentam que essa é uma prática comum nos EUA e em exames internacionais que já usam a moderna metodologia do novo Enem. Para eles, seria quase nula a possibilidade de a prova vazar.</P>
<P>O Enem será realizado nos dias 3 e 4 de outubro por 4,5 milhões de formandos do ensino médio. Neste ano, o MEC mudou o exame para funcionar como um vestibular. Cerca de 20 universidades federais o adotaram como prova única de seus processos seletivos. Além disso, a nota tem sido usada para rankings de escolas particulares. Uma posição boa no Enem é vantajoso no competitivo mercado do ensino privado.</P>
<P>"Para fazer um exame bem feito precisa testar antes. Mas não se pode dizer que a prova foi testada, a prova não existe ainda", diz o presidente do Inep, Reynaldo Fernandes. Ele explica que foi realizado um procedimento conhecido como pré-teste, em que 1.800 questões (tecnicamente chamadas de itens) foram aplicadas a estudantes do 2º ano do ensino médio e do 1º ano do ensino superior. Participaram instituições públicas e particulares.</P>
<P>Desse total de itens, 180 serão escolhidos para compor o novo Enem. Alguns poucos (cerca de 10%) podem sair de um banco que o Inep já possui. O pré-teste não funciona como um simulado - são exatamente as mesmas questões que estarão no exame de outubro.</P>
<P>O que dificultaria a fraude, diz Fernandes, é o fato de cada aluno receber apenas um caderno com 48 dessas questões. "Mesmo que ele tivesse um poder de memorização extremo e decorasse todas, só uma dessas poderia cair na prova."</P>
<P>"Jamais tivemos coragem de pré-testar o Enem por medo de quebrar o sigilo", diz Maria Inês Fini, uma das criadoras do exame na gestão Fernando Henrique Cardoso. Para ela, pré-testes são seguros só em exames que avaliam sistemas de ensino, como a Prova Brasil. "Quando a nota é usada pelo aluno e ainda seleciona para a universidade é muito arriscado", afirma Maria Inês, que hoje assessora a Secretaria Estadual de Educação. Em São Paulo, 150 escolas públicas participaram do pré-teste.</P>
<P>Avaliações modernas</P>
<P>No governo FHC e até 2008, o exame não usava a metodologia de Teoria de Resposta ao Item (TRI), que deixa a seleção mais precisa e impede chutes (mais informações nesta página). Há especialistas que questionam o fato de o MEC ter optado por esse método por causa da exigência de pré-testes.</P>
<P>"É o que existe de mais moderno em avaliação. As pessoas não conhecem direito e por isso temem fraudes", discorda o ex-coordenador do vestibular da Universidade Estadual de Campinas (Unicamp) Leandro Tessler.</P>
<P>Para Jocimar Archangelo, ex-coordenador do Provão, é possível haver vazamento de informação. "Nos EUA dá certo, mas lá não há essa loucura com relação ao vestibular." Sua preocupação é com grupos mal intencionados que poderiam ter se articulado para conseguir cópias das provas.</P>
<P>"O Enem se tornou muito importante para o mercado das escolas privadas. Ainda mais neste ano em que o exame mudou e ninguém sabe como vai ser. Acho perigoso", diz o diretor do Colégio Bandeirantes, Mauro Aguiar, segundo colocado no ranking do exame do Estado. Ele foi avisado sobre o pré-teste pela reportagem.</P>
<P>Segundo a ata do pregão realizado para contratar a empresa que aplicou a prova, o pré-teste custou R$ 1,7 milhão. Por sorteio, foram escolhidos 4,8 mil alunos em cada cidade, de um total de 120 instituições de ensino. Também foram treinadas 4.800 pessoas para aplicarem as provas. A empresa e os aplicadores tiveram de assinar um termo e seguir procedimentos de sigilo, como apagar arquivos de banco de dados e picotar duplamente materiais impressos que sobrassem.</P>
<P>Segundo Fernandes, dois cadernos de perguntas - usados em Brasília e Manaus - não foram devolvidos e todas as questões acabaram invalidadas. O único outro exame que também dá uma nota para o aluno e fazia pré-testes era o Encceja, que servia como certificado para o antigo supletivo. Hoje ele foi incorporado ao Enem.</P>
<P>Método sofisticado baixa a nota de quem chuta</P>
<P>Teoria de Resposta ao Item (TRI) é uma metodologia ainda pouco conhecida no Brasil, mas usada há décadas em testes como o Toefel ou Scholastic Aptitude Test (SAT), avaliações de ingresso para universidade nos Estados Unidos. O exame internacional mais importante, o Pisa, também usa um modelo de TRI.</P>
<P>Os especialistas garantem que é uma metodologia mais precisa e sofisticada para seleção. Por exemplo, um aluno mal preparado, mas sortudo, perde pontos com a TRI. Isso porque o modelo consegue distinguir estatisticamente o padrão de respostas de um aluno. Se ele acerta questões difíceis, mas erra as fáceis, conclui-se que ele está chutando. Isso o coloca numa posição mais baixa da escala da prova, ou seja, com notas inferiores.</P>
<P>Quem acerta muitas questões difíceis - calibradas em pré-testes, como o que foi feito no Enem - também tem uma nota melhor do que quem acerta o mesmo número de perguntas fáceis. Portanto, ninguém vai poder comparar seus acertos com o gabarito ao fazer o Enem. Outra vantagem é ter pouco empate entre candidatos, já que as notas são compostas por vários fatores.</P>
<P>O polêmico pré-teste é, por isso, essencial para esse modelo funcionar. A intenção é fazer testes todo ano, até que se monte um banco de questões com milhares de opções já classificadas como fáceis, médias ou difíceis.</P>
<P>"No primeiro ano pode dar essa confusão com pré-teste, mas depois que a máquina tiver funcionando vamos ganhar muito com isso", diz o especialista da Universidade Federal de Minas Gerais (UFMG) Francisco Soares.</P>
<P><FONT size=1>(O Estado de SP, 31/8)</FONT>&nbsp;</P>