INTRODUÇÃO: A competência em ventilação mecânica (VM) é essencial para residentes, bolsistas e outros clínicos que cuidam de pacientes críticos e requer conhecimentos e habilidades complexas para evitar complicações e melhorar a sobrevida. O modelo de avaliação prática, Objective Structured Clinical Exam or Exercises (OSCE), tem sido utilizado para avaliar a competência clínica em muitas áreas, porém não há modelos de OSCE focados em VM. Para avaliar o conhecimento da VM, os testes escritos são os mais utilizados, mas não demonstram habilidades práticas. Neste estudo, desenvolvemos e validamos uma avaliação objetiva estruturada, modelo OSCE, para avaliar a competência em VM usando um simulador pulmonar acoplado a um ventilador mecânico; comparamos uma avaliação teórica antes e depois do estágio supervisionado dos residentes e também comparamos a avaliação objetiva estruturada com a teórica. MÉTODOS: O estudo incluiu residentes de Clínica médica do segundo ano do Hospital das Clínicas da Universidade de São Paulo. A avaliação objetiva estruturada foi composta por perguntas selecionadas pelo Método Delphi com especialistas e aplicadas no primeiro dia de rotação da Unidade de Terapia Intensiva Respiratória; a avaliação teórica, adaptada de uma avaliação previamente validada, foi aplicada no início e no final do estágio. Utilizamos a Teoria da resposta ao item (TRI) para avaliar a qualidade de cada questão na avaliação objetiva estruturada e o Coeficiente de Alfa de Cronbach para avaliar confiabilidade. RESULTADOS: A avaliação objetiva estruturada incluiu 32 questões e a teórica, 24 questões. Foram elegíveis 81 residentes, incluídos 80, todos submetidos a uma avaliação objetiva estruturada e apenas 42 também responderam a avaliação teórica no início e no final do estágio. Em relação a avaliação objetiva estruturada, a confiabilidade foi adequada considerando o cálculo do Coeficiente de Alfa de Cronbach, superior a 0,7. Os resultados da análise da TRI mostraram que a maioria das perguntas tinha boa qualidade, mas algumas apresentavam baixa qualidade, por serem fáceis ou difíceis demais, pouca discriminação ou mal formuladas. A melhor questão foi a que solicitava a medida da pressão expiratória final positiva intrínseca (auto-PEEP) e as de menor qualidade foram relacionadas a análise dos gases sanguíneos, ao reconhecimento da modalidade Pressão de Suporte e a abordagem de hipoxemia. A média do escore de pontuação, normalizado para uma escala de 0 a 10 foi de 6,2 ± 1,3. Nos resultados da análise da TRI, a pontuação média em uma escala de 0 a 10 foi de 5,4 ± 1,8. Quanto à avaliação teórica, o escore médio inicial foi de 7,6 ± 2,4 e 8,2 ± 2,3 na avaliação final. O aumento médio foi de 0,6 (IC95% 0,90 - 0,30) pontos e foi estatisticamente significante (p <0,001). Comparando a avaliação estruturada e teórica, houve correlação moderada e estatisticamente significante com o teste de Spearman, rho = 0,41 (p = 0,002). CONCLUSÕES: Desenvolvemos e validamos uma avaliação objetiva e estruturada da VM, modelo OSCE, utilizando simulador pulmonar e ventilador mecânico, abordando as principais habilidades da VM para um programa de estágio médico. Observou-se que o desempenho dos estagiários da clínica médica na avaliação objetiva estruturada foi menor em comparação ao desempenho da avaliação teórica, sugerindo a necessidade de maior ênfase nas habilidades práticas de ensino relacionadas à VM durante o estágio médico. Houve um aumento no escore na avaliação teórica após o estágio supervisionado mostrando a importância do aprendizado e do treinamento prático para o manuseio adequado do ventilador mecânico.

INTRODUCTION: Competency in mechanical ventilation (MV) is essential for residents, fellows and other clinicians caring for critically ill patients and requires complex knowledge and skills to avoid complications and improve survival. The practical assessment model, Objective Structured Clinical Exam or Exercises (OSCE), have been used to assess clinical competency in many areas, but there are no OSCE models focused on MV. For assessing knowledge of MV, written tests are the most used but fail to show practical skills. In this study, we developed and validated a structured objective assessment, OSCE model, to assess competency in MV using a pulmonary simulator coupled to a mechanical ventilator; we compared a theoretical assessment before and after the supervised internship of residents and we also compared the structured objective assessment with the theoretical one. METHODS: The study included second- year internal medicine residents of the Hospital das Clínicas, University of Sao Paulo. The structured objective assessment was composed of questions that were selected by the Delphi Method with specialists and applied at the first day of their rotation in the Respiratory Intensive Care Unit; the theoretical assessment, adapted from a previously validated assessment, was applied at the beginning and in the end of the internship. We use Item Response Theory (IRT) to assess the quality of each question in the structured objective assessment and Cronbach's Alpha Coefficient to assess reliability. RESULTS: The objective structured assessment included 32 questions and the theoretical, 24 questions. 81 residents were eligible, including 80, all of whom underwent an objective structured assessment and only 42 also answered to the theoretical assessment at the beginning and end of the internship. Regarding the structured objective assessment, reliability was adequate considering the calculation of Cronbach's alpha coefficient, which was greater than 0.7. The results with the IRT analysis showed that most of the questions had a good quality, but some had a low quality, either because they were too easy or too difficult, little discrimination or poorly formulated. The best question was the one that asked intrinsic Positive End Expiratory Pressure (PEEP) measurement and those of lower quality were related to blood gas analysis, recognition of the Pressure Support modality and in the hypoxemia approach. The average score, normalized for a scale from 0 to 10, was 6.2 ± 1.3. In the results of the IRT analysis, the average score on a scale of 0 to 10, was 5.4 ± 1.8. Regarding the theoretical evaluation, the initial average score was 7.6 ± 2.4 and 8.2 ± 2.3 in the final evaluation. The average increase was 0.6 (95% CI 0.90 - 0.30) points, and was statistically significant (p <0.001). Comparing the structured and theoretical assessment, there was a moderate and statistically significant correlation with the Spearman test, rho = 0.41 (p = 0.002). CONCLUSIONS: We developed and validated an objective structured assessment on MV using a pulmonary simulator and a mechanical ventilator addressing the main skills in MV for a medical internship program. It was observed that the performance of medical clinic interns in the objective structured evaluation was lower comparing to the performance of the theoretical evaluation, suggesting greater emphasis on practical teaching skills related to MV during medical internship. There was an increase in the score in the theoretical evaluation after the supervised internship showing the importance of learning and practical training for the proper handling of the mechanical ventilator.