Simuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias.

Virtual Reality (VR) simulators for health procedures allow students to train in a safe manner and without loss of material before they have the first contact with a real patient. Data collected during training sessions using these simulators favor the implementation of automatic assessment systems, which could both provide a performance feedback to the trainee, without the need of an instructor present, and assist instructors during the evaluation of students. Results obtained through a systematic review of the literature indicated that studies using machine learning to assess apprentices in VR simulators with haptic feedback are still scarce. This work compared the machine learning techniques Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) and Extreme Gradient Boosting (XGB), combined with techniques for feature fusion and selection to define an automatic assessment method to measure the students performance while using VR simulators for medical training. The syringe trajectory in a VR dental simulator was collected and segmented, allowing the extraction of 98 features related to the participants performance during the procedure. Binary classifications were performed with two different types of labeling: based on the level of experience the participants had in the simulated procedure and based on an experts evaluation of the trajectory. It was found that in both cases, the SVM classifier presented the best final result, with an accuracy of 0.77, specificity of 0.60, and sensitivity of 0.94 for the labeling based on the experts evaluation. The results obtained in this work are promising and the model can be applied to VR haptic simulators that collect trajectory data.