• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.45.2022.tde-28062022-154054
Document
Author
Full name
Pedro Menezes de Araújo
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2022
Supervisor
Committee
Branco, Marcia D Elia (President)
Guzmán, Jorge Luis Bazán
Loschi, Rosângela Helena
Title in Portuguese
Visualizando a relação entre testes em modelos de TRI multi-unidimensionais
Keywords in Portuguese
Distância latente
Modelos multi-unidimensionais de TRI
Monte Carlo Hamiltoniano
Teoria de Resposta ao Item
Abstract in Portuguese
Modelos de TRI multi-unidimensionais são utilizados em situações em que um mesmo indivíduo responde a diferentes testes com itens e traços latentes específicos para cada teste. Nessa abordagem todos os parâmetros são estimados de maneira conjunta. No presente trabalho propomos uma nova estrutura de correlação para os traços latentes, aonde a associação entre as habilidades dos respondentes passa a ser uma função de uma distância latente entre os testes. Mais especificamente, a distância entre os testes refere-se à distância entre os traços latentes que cada teste está medindo, supondo que cada um mede apenas um traço latente. Assim, além de considerar uma relação entre os testes, passamos a estimar uma posição latente para eles, sendo possível visualizar tal relação em um gráfico. O modelo proposto é estimado de forma Bayesiana e amostras da distribuição a posteriori foram geradas utilizando Monte Carlo Hamiltoniano na sua variante NUTS através do Software Stan. Realizamos um estudo de simulação ajustando o modelo proposto e verificando a capacidade do método de estimação recuperar bem os parâmetros; constatamos que os parâmetros dos itens e os traços latentes são bem estimados. Os parâmetros relacionados à estrutura de correlação também são razoavelmente bem estimados, apesar de apresentarem problemas em alguns casos específicos. Também realizamos um estudo de sensibilidade da especificação da distribuição a priori da estrutura de correlação proposta. Aplicamos o modelo em situações práticas, com testes envolvendo o Protective Action Decision Model (PADM) e o Exame Nacional do Ensino Médio (ENEM). O modelo proposto foi comparado com outras estruturas de correlações disponíveis na literatura, como uma distribuição a priori LKJ para as correlações dos traços latentes e uma estrutura independente. Ao ser comparado com o modelo com priori LKJ, o modelo proposto apresentou estimativas similares, mas com maior precisão nas correlações. Os modelos LKJ e proposto apresentaram valores próximos de LOO e WAIC, com uma pequena desvantagem para estrutura latente. Concluímos que o modelo proposto é bastante similar a outras estruturas mais simples disponíveis, mas possui a vantagem de trazer mais insights sobre a relação entre os testes, como a visualização em um gráfico de dispersão da posição latente do teste, possibilitando o agrupamento, e a inclusão de um parâmetro que resume a associação entre os testes.
Title in English
Visualizing the relation between tests in multiunidimensional IRT models
Keywords in English
Hamiltonian Monte Carlo
Item response theory
Latent distance
Multi-unidimensionais IRT models
Abstract in English
Multi-unidimensional IRT models are used in situations where the same individual responds to different tests with items and latent traits specific to each test. In this approach, all parameters are estimated together. In the present work, we propose a new correlation structure for the latent traits, where the association between the respondents abilities becomes a function of a latent distance between the tests. More specifically, the distance between tests refers to the distance between the latent traits that each test is measuring, assuming each test measures only one latent trait. Thus, in addition to considering a relationship between the tests, we started to estimate a latent position for them, making it possible to visualize this relationship in a graph. The proposed model is estimated in a Bayesian way and samples of the a posteriori distribution were generated using Monte Carlo Hamiltonian in its NUTS variant using Stan Software. We performed a simulation study adjusting the proposed model and verifying the ability of the estimation method to recover the parameters well; we found that item parameters and latent traits are well estimated. The parameters related to the correlation structure are also reasonably well estimated, although they present problems in some specific cases. We also carried out a sensitivity study of the specification of the a priori distribution of the proposed correlation structure. We apply the model in practical situations, with tests involving the Protective Action Decision Model (PADM) and the National High School Exam (ENEM). The proposed model was compared with other correlation structures available in the literature, such as an a priori LKJ distribution for the correlations of latent traits and an independent structure. When compared with the model with priori LKJ, the proposed model presented similar estimates, but with greater precision in the correlations. The LKJ and proposed models present values close to LOO and WAIC, with a small disadvantage for the latent structure. We conclude that the proposed model is very similar to other simpler structures available, but it has the advantage of bringing more insights into the relationship between tests, such as the visualization in a scatterplot of the latent position of the test, enabling the grouping, and the inclusion of a parameter that summarizes the association between the tests.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
dissertacao.pdf (5.73 Mbytes)
Publishing Date
2022-07-14
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2022. All rights reserved.