• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.100.2022.tde-17102022-181606
Documento
Autor
Nome completo
Patricia Gilavert Fernandes
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2022
Orientador
Banca examinadora
Silva, Valdinei Freire da (Presidente)
Cúri, Mariana
Guzmán, Jorge Luis Bazán
Título em português
Testes Adaptativos Computadorizados como um Processo de Decisão Markoviano: equilíbrio ótimo entre eficiência e precisão
Palavras-chave em português
Critérios de parada
Processos de Decisão Markovianos
Testes Adaptativos Computadorizados
Resumo em português
Os Testes Adaptativos Computadorizados (Computerized Adaptive Testing - CAT) avaliam os indivíduos de forma adaptativa por meio de itens selecionados sequencialmente durante o teste, após cada resposta dada, de acordo com critérios de seleção de itens e critérios de parada do teste predefinidos. Esse tipo de avaliação se destaca em relação aos testes aplicados de forma convencional (papel e lápis) por apresentar um melhor compromisso entre precisão na estimação das habilidades e o tempo do teste. Em geral, os CATs consideram um modelo probabilístico de resposta dos indivíduos para cada item, possibilitando inferir a habilidade do indivíduo; o modelo probabilístico mais comum é o modelo de Teoria de Resposta ao Item (TRI), que permitem descrever parâmetros dos itens, como dificuldade e discriminação. Tradicionalmente, os critérios de seleção de itens utilizados nos CATs são míopes, isto é, avaliam o próximo melhor item sem considerar os itens ainda por vir em conjunto; além disso, consideram um critério de parada independente do critério de seleção de itens. Uma abordagem não míope que possibilita modelar os critérios de seleção e critérios de parada juntos são os Processos de Decisão Markovianos (Markov Decision Process - MDP). Este trabalho define um CAT utilizando MDP para obter um melhor compromisso entre a qualidade da estimativa da habilidade dos indivíduos e a quantidade de questões realizadas. Embora MDPs possibilitem solucionar o problema de forma ótima, a otimalidade de fato só é possível quando o problema é discreto e em tamanho factível. Neste trabalho analisa-se empiricamente os ganhos potenciais de modelar CATs como MDPs. Além disso, é feita uma avaliação abrangente dos critérios de parada do CAT, concluindo que o critério de Comprimento Fixo mostra uma curva de compensação de eficiência de precisão competitiva em todos os cenários. Destaca-se também que o mecanismo de estimativa e a distribuição de itens por banco influenciam o desempenho dos critérios de parada.
Título em inglês
Computerized Adaptive Testing as a Markov Decision Process: optimal balance between efficiency and precision
Palavras-chave em inglês
Computerized Adaptive Tests
Markov Decision Processes
Stop criteria
Resumo em inglês
Computerized Adaptive Testing (CAT) adaptively assesses individuals through items selected sequentially during the test, after each given response, according to predefined item selection criteria and test stopping criteria. This type of assessment stands out in relation to tests applied in a conventional way (paper and pencil) because it presents a better compromise between precision in the estimation of skills and the test time. In general, the CATs consider a probabilistic model of the individuals' response to each item, making it possible to infer the individual's ability; the most common probabilistic model is the Item Response Theory (TRI) model, which allows describing item parameters, such as difficulty and discrimination. Traditionally, the item selection criteria used in CATs are myopic, that is, they evaluate the next best item without considering the items yet to come together; in addition, they consider a stopping criterion independent of the item selection criterion. A non-myopic approach that makes it possible to model selection criteria and stopping criteria together is the Markov Decision Process (MDP). This work defines a CAT using MDP to obtain a better compromise between the quality of the individuals' ability estimation and the quantity of questions performed. Although MDPs make it possible to solve the problem optimally, optimality is actually only possible when the problem is discrete and of a feasible size. In this work we empirically analyze the potential gains of modeling CATs as MDPs. In addition, a comprehensive assessment of the CAT stopping criteria is made, concluding that the Fixed Length criterion shows a competitive accuracy efficiency compensation curve in all scenarios. It is also noteworthy that the estimation mechanism and the distribution of items per bank influence the performance of the stopping criteria.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2022-10-31
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.