• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
Documento
Autor
Nome completo
Eduardo Rodrigues Capocchi
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2017
Orientador
Banca examinadora
Bauer, Adriana (Presidente)
Fernandes, Reynaldo
Ferreira, Maria Paula
Título em português
Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil
Palavras-chave em português
Avaliações externas
Exclusão
Fraudes
Gaming
Prova Brasil
Responsabilização
Resumo em português
Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados peiragênicos por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa prociência de avaliações e a incidência de fraudes ingênuas, emdesacordoaosprotocolosdeaplicaçãodasavaliações.Duasabordagenssãoapresentadas. Para estimar as exclusões de alunos de baixa prociência é proposta uma análise baseada naassimetriadedistribuiçõesdeprociência,usandodistribuiçõesnormaistruncadas.Para avaliaraextensãodefraudesingênuas,denidascomoadivulgaçãoderespostasaosalunos testadossemlevaremcontaaexistênciadecadernosdeitensoupermissividadecomcolas entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonicação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parecemaisintensoemunidadesdafederaçãocompolíticashigh-stakes,assimcomo em escolas com Ideb baixo vericado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionadossignicativamenteàspressões.ExclusõesmedidassãomenoresemUFscom avaliações próprias para cálculo de bonicação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados.
Título em inglês
Large scale assessments and school accountability: evidence of undesired consequences in Brazil
Palavras-chave em inglês
Accountability
Cheating
Exclusion
Gaming
Prova Brasil
Student assessments
Resumo em inglês
This survey analyzes the undesired side eects of standardized assessments when combined with accountability policies, in public schools in Brazil. These eects, identied as peiragenics by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in gaming the system, leading to score ination, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to ll a void in Brazilian literature regarding the measurement of two side eects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this eect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of prociency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, dened as attempts to share common answers regardless of dierences in test booklets or turning a blind eye to students copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasils 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not signicantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for careindesignofassessmentpoliciestocontrolforthetwoeectsmeasuredismadeevident.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2017-11-10
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
Centro de Informática de São Carlos
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2014. Todos os direitos reservados.