• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.48.2017.tde-13092017-145218
Documento
Autor
Nombre completo
Eduardo Rodrigues Capocchi
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2017
Director
Tribunal
Bauer, Adriana (Presidente)
Fernandes, Reynaldo
Ferreira, Maria Paula
Título en portugués
Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil
Palabras clave en portugués
Avaliações externas
Exclusão
Fraudes
Gaming
Prova Brasil
Responsabilização
Resumen en portugués
Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados "peiragênicos" por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações. Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com "colas" entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados.
Título en inglés
Large scale assessments and school accountability: evidence of undesired consequences in Brazil
Palabras clave en inglés
Accountability
Cheating
Exclusion
Gaming
Prova Brasil
Student assessments
Resumen en inglés
This survey analyzes the undesired side effects of standardized assessments when combined with accountability policies, in public schools in Brazil. These effects, identified as "peiragenics" by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in "gaming the system", leading to score inflation, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to fill a void in Brazilian literature regarding the measurement of two side effects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this effect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of proficiency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, defined as attempts to share common answers regardless of differences in test booklets or turning a blind eye to students' copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasil's 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not significantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reflecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for care in design of assessment policies to control for the two effects measured is made evident.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2017-11-10
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.