A implementação de um sistema de avaliação organizacional por meio de indicadores é imprescindível para uma administração eficiente, na busca da melhoria da qualidade e segurança da assistência, otimização dos recursos, produtividade e satisfação do cliente. A utilização de medidas válidas e fidedignas, no entanto, é condição essencial, pois propicia monitorar a qualidade do cuidado dispensado, subsidia o planejamento de ações corretivas, além de direcionar estratégias e reajuste de metas por meio de ações educativas e de valorização profissional, princípios do Gerenciamento da Qualidade. O objetivo do estudo é testar a confiabilidade interavaliadores de indicadores de qualidade e utilizá-los na avaliação da assistência de enfermagem em hospital público de ensino. Foi desenvolvido em duas etapas: na primeira desenvolveu-se uma pesquisa quantitativa, metodológica, experimental e aplicada, em um hospital terciário público de ensino, que testou a confiabilidade interavaliadores de quinze indicadores de qualidade do cuidado de enfermagem. Na segunda etapa desenvolveu-se uma pesquisa aplicada, descritiva, exploratória, de abordagem quantitativa, do tipo estudo de caso, em duas unidades médico- cirúrgicas da instituição, com um total de 113 leitos, que avaliou a qualidade da assistência de enfermagem por meio da aplicação dos indicadores testados. Os resultados da primeira fase demonstram a fidedignidade dos indicadores, com resultados de Kappa para os indicadores de número 1 a 11 e 15 variando entre 0,956 e 1,000 e Coeficiente de Correlação Interclasse entre 0,951 e 0,992 para os indicadores 12, 13 e 14, o que caracteriza concordância/reprodutibilidade excelente, com p-value menor do que 0,001. Os resultados da aplicação dos indicadores na avaliação da qualidade da assistência mostram que na unidade feminina os menores percentuais de adequação ao padrão relacionam-se aos registros das ações de cuidados, no que tange às identificações (acesso venoso periférico - 44%, equipos - 66%, rótulos de soro - 60%, escala graduada - 33% e sonda gástrica - 58%) e checagens (prescrição de enfermagem - 52%, médica - 75% e registro de sinais vitais - 55%). Na unidade masculina os menores percentuais também se relacionam às identificações (acesso venoso periférico - 58% e sonda gástrica - 71%) e checagens (prescrição de enfermagem - 82%, médica - 86% e registro de sinais vitais - 88%). Com base nos resultados e a partir da aplicação do Ciclo PDCA para Solução de Problemas e ferramenta 5W1H para elaboração do Plano de Ação, a metodologia WebQuest foi proposta como estratégia educativa para enfrentamento dos problemas detectados. Conclui-se que os indicadores testados atendem ao requisito de fidedignidade da medida e os níveis de concordância e confiabilidade obtidos demonstram a relevância deste instrumento para a prática clínica, na avaliação da qualidade da assistência de enfermagem. Nas unidades avaliadas, o desempenho das equipes de enfermagem em relação aos indicadores avaliados se mostrou comprometido, principalmente no que se refere aos registros das ações de cuidados, caracterizando a necessidade de investimentos em capacitação, por meio de formas mais atraentes e estimulantes, que propiciem a busca ativa do conhecimento e que estimulem os servidores a participar das atividades educativas oferecidas pela instituição.

The implementation of an organizational assessment system by means of indicators is essential for an efficient administration in the pursuit of improving the quality and safety of care and optimizing resources, productivity and customer satisfaction. The use of valid and reliable measures, however, is a core condition because it allows for monitoring the quality of the provided care, subsidizes the planning of corrective actions, in addition to directing strategies and readjustment of goals through education and professional development, principles of Quality Management. Thus, this study aims to test the inter-rater reliability of quality indicators and use them in the evaluation of nursing care in a public school hospital. It was developed in two phases: firstly, an applied experimental quantitative methodological research was accomplished in a tertiary public school hospital, in which the inter-rater reliability of fifteen indicators of nursing care quality was tested. In the second phase, an applied descriptive exploratory quantitative research, kind of case study, was accomplished in two medical surgical units of the institution, with a total of 113 beds, which assessed the quality of nursing care through the application of the tested indicators. The results of the first phase show the reliability of the indicators, with Kappa results for the indicators number 1 to 11 and 15 ranging between 0.956 and 1.000 and Intraclass Correlation Coefficient between 0.951 and 0.992 for the indicators 12, 13 and 14, which characterizes excellent concordance/reproducibility, with p-value less than 0.001. The results of the application of the indicators in the assessment of quality care show that in the female unit the lowest percentages of adequacy to the standard relate to the records of care actions, with respect to identification (peripheral venous access - 44%, hoses - 66%, labels of serum - 60%, graduated scale - 33% and gastric hose - 58%) and verification (nursing prescription -52%, medical prescription - 75% and recording vital signs - 55%). In the male unit the lowest percentages also relate to identification (peripheral venous access - 58% and gastric hose - 71%) and verification (nursing prescription - 82%, medical prescription - 86% and recording vital signs - 88%). Based on the results as well as the implementation of the PDCA cycle for Troubleshooting and the 5W1H tool for preparation of the Action Plan, the Web Quest method was proposed as an educational strategy for coping with the problems detected. In conclusion, the indicators tested meet the requirement of reliability of the measures and the levels of agreement and reliability obtained demonstrate the relevance of this instrument in clinical practice for the evaluation of the quality of nursing care. As to the assessed units, the performance of nursing teams in relation to indicators shows insufficient, especially in relation to records of care actions, characterizing the need for investment in more attractive and stimulating training, encouraging the active search for knowledge and stimulating the servers to participate in the educational activities offered by the institution.