• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.100.2022.tde-17102022-181606
Documento
Autor
Nombre completo
Patricia Gilavert Fernandes
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2022
Director
Tribunal
Silva, Valdinei Freire da (Presidente)
Cúri, Mariana
Guzmán, Jorge Luis Bazán
Título en portugués
Testes Adaptativos Computadorizados como um Processo de Decisão Markoviano: equilíbrio ótimo entre eficiência e precisão
Palabras clave en portugués
Critérios de parada
Processos de Decisão Markovianos
Testes Adaptativos Computadorizados
Resumen en portugués
Os Testes Adaptativos Computadorizados (Computerized Adaptive Testing - CAT) avaliam os indivíduos de forma adaptativa por meio de itens selecionados sequencialmente durante o teste, após cada resposta dada, de acordo com critérios de seleção de itens e critérios de parada do teste predefinidos. Esse tipo de avaliação se destaca em relação aos testes aplicados de forma convencional (papel e lápis) por apresentar um melhor compromisso entre precisão na estimação das habilidades e o tempo do teste. Em geral, os CATs consideram um modelo probabilístico de resposta dos indivíduos para cada item, possibilitando inferir a habilidade do indivíduo; o modelo probabilístico mais comum é o modelo de Teoria de Resposta ao Item (TRI), que permitem descrever parâmetros dos itens, como dificuldade e discriminação. Tradicionalmente, os critérios de seleção de itens utilizados nos CATs são míopes, isto é, avaliam o próximo melhor item sem considerar os itens ainda por vir em conjunto; além disso, consideram um critério de parada independente do critério de seleção de itens. Uma abordagem não míope que possibilita modelar os critérios de seleção e critérios de parada juntos são os Processos de Decisão Markovianos (Markov Decision Process - MDP). Este trabalho define um CAT utilizando MDP para obter um melhor compromisso entre a qualidade da estimativa da habilidade dos indivíduos e a quantidade de questões realizadas. Embora MDPs possibilitem solucionar o problema de forma ótima, a otimalidade de fato só é possível quando o problema é discreto e em tamanho factível. Neste trabalho analisa-se empiricamente os ganhos potenciais de modelar CATs como MDPs. Além disso, é feita uma avaliação abrangente dos critérios de parada do CAT, concluindo que o critério de Comprimento Fixo mostra uma curva de compensação de eficiência de precisão competitiva em todos os cenários. Destaca-se também que o mecanismo de estimativa e a distribuição de itens por banco influenciam o desempenho dos critérios de parada.
Título en inglés
Computerized Adaptive Testing as a Markov Decision Process: optimal balance between efficiency and precision
Palabras clave en inglés
Computerized Adaptive Tests
Markov Decision Processes
Stop criteria
Resumen en inglés
Computerized Adaptive Testing (CAT) adaptively assesses individuals through items selected sequentially during the test, after each given response, according to predefined item selection criteria and test stopping criteria. This type of assessment stands out in relation to tests applied in a conventional way (paper and pencil) because it presents a better compromise between precision in the estimation of skills and the test time. In general, the CATs consider a probabilistic model of the individuals' response to each item, making it possible to infer the individual's ability; the most common probabilistic model is the Item Response Theory (TRI) model, which allows describing item parameters, such as difficulty and discrimination. Traditionally, the item selection criteria used in CATs are myopic, that is, they evaluate the next best item without considering the items yet to come together; in addition, they consider a stopping criterion independent of the item selection criterion. A non-myopic approach that makes it possible to model selection criteria and stopping criteria together is the Markov Decision Process (MDP). This work defines a CAT using MDP to obtain a better compromise between the quality of the individuals' ability estimation and the quantity of questions performed. Although MDPs make it possible to solve the problem optimally, optimality is actually only possible when the problem is discrete and of a feasible size. In this work we empirically analyze the potential gains of modeling CATs as MDPs. In addition, a comprehensive assessment of the CAT stopping criteria is made, concluding that the Fixed Length criterion shows a competitive accuracy efficiency compensation curve in all scenarios. It is also noteworthy that the estimation mechanism and the distribution of items per bank influence the performance of the stopping criteria.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2022-10-31
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.