Introdução: A prática da Enfermagem tem se modificado ao longo dos anos e com isso novas estratégias de ensino aprendizagem têm surgido, dentre elas a simulação. Implementar essa estratégia requer consideráveis investimentos em materiais e equipamentos. Conhecer a efetividade da simulação é fundamental para apoiar as decisões que envolvem a escolha dessa estratégia. O presente estudo teve como objetivos adaptar para a língua portuguesa do Brasil o Simulation Effectiveness Tool - Modified (SET-M) e verificar a validade e confiabilidade do instrumento adaptado. Métodos: a adaptação do instrumento seguiu o proposto pelo ISPOR Principles of Good Practice The Cross-Cultural Adaptation Process for Patient Report Outcomes Measures; esse momento incluiu também a verificação de validade de conteúdo. Para a validade de constructo foi usada a Análise Fatorial Confirmatória (AFC); para validade de critério, utilizou-se a correlação entre os escores do instrumento adaptado, a Escala de Design da Simulação Versão Estudante (EDS- VE) e a avaliação de desempenho individual. A confiabilidade foi verificada utilizando o teste-reteste e índices de consistência interna. Fizeram parte da amostra 435 indivíduos (214 estudantes de Graduação em Enfermagem e 221 enfermeiros estudantes de Pós-Graduação), escolhidos por conveniência. Desse total, 34 participaram do reteste. Outra amostra de 21 estudantes de graduação participou da verificação da validade de critério. Resultados: O instrumento adaptado ficou denominado Simulation Effectiveness Tool - Modified (SET-M) Versão Brasileira. A AFC mostrou carga fatoral satisfatória (>0,30) para todos os itens, exceto para os itens 15 e 19, cuja exclusão pioraria a consistência interna do domínio. Não houve correlação entre os escores do instrumento e o EDS-VE ou com a avaliação de desempenho. O Alfa de Cronbach dos domínios variou entre 0,729 e 0,874, e o Ômega de McDonald foi 0,782. O instrumento manteve em sua estrutura os 19 itens e 4 domínios da escala original (Pré-briefing, Aprendizagem, Confiança e Debriefing). As médias dos escores nos itens variou de 2,36 a 2,94. Os escores dos participantes como voluntários nas simulações foram significativamente mais altos que os dos observadores em três dos quatro domínios. Houve correlação positiva entre os escores do SET-M Versão Brasileira e as idades dos participantes. Conclusão: o SET-M Versão Brasileira manteve os 19 itens e 4 domínios, mostrou bons índices de consistência interna e baixos índices de estabilidade. O instrumento pode ser usado no Brasil para avaliar a efetividade da simulação, recomendando-se outros estudos com amostras diferentes, especialmente para verificar a validade de critério.

Introduction: Nursing practice has changed over the years, accompanied by the emergence of new teaching-learning strategies, including simulation. Implementing this strategy requires considerable investments in materials and equipment. Awareness of the effectiveness of simulation is mandatory to support the decision- making for this strategy. The present study aimed to adapt the Simulation Effectiveness Tool - Modified (SET-M) to Brazilian Portuguese and to assess the validity and reliability of the adapted instrument. Methods: the adaptation of the instrument followed the methods proposed by ISPOR - Principles of Good Practice - The Cross- Cultural Adaptation Process for Patient - Report Outcomes Measures; the adaptation process also included content validity assessment. Confirmatory Factor Analysis (CFA) was used to investigate construct validity. The criterion validity was investigated through the correlation between the scores of the adapted instrument, the Simulation Design Scale - Student Version (SDS-SV) and the individual performance evaluation. Reliability was assessed by test-retest and by internal consistency indexes. The convenience sample comprised 435 individuals (214 undergraduate nursing students and 221 nurse graduate students). Of the total sample, 34 participated in the retest. Another sample of 21 undergraduate students participated in the assessment of criterion validity. Results: The adapted instrument was named Simulation Effectiveness Tool - Modified (SET-M) Versão Brasileira. In the CFA, satisfactory factor loadings (>0.30) were found for all items, except for items 15 and 19, whose exclusion would reduce the internal consistency of their domain. The scores of the instrument were not correlated with the SDS-SV or with the students performance evaluation. The Cronbach's alpha of the domains ranged between 0.729 and 0.874, and the McDonald's Omega was 0.782. The modified instrument maintained all 19 items and 4 domains of the original scale (Prebriefing, Learning, Confidence and Debriefing) in its structure. The mean item scores ranged from 2.36 to 2.94. The scores of those who volunteered as participants in the simulations were significantly higher than those of who observed them in three of the four domains. There was a positive correlation between the SET-M Versão Brasileira scores and the participants ages. Conclusion: the SET-M Versão Brasileira maintained 19 items and four domains, with good internal consistency indexes and low levels of stability. The instrument can be used in Brazil to evaluate the effectiveness of simulation. Further studies are recommended with different samples, especially for the assessment of criterion validity.