Introdução: A fidelidade das intervenções trata do grau com que as intervenções são oferecidas conforme o planejado. É uma variável que deve ser investigada como uma fonte de dados sobre a validade e a confiabilidade dos resultados obtidos em estudos de intervenção de boa qualidade. Avaliar a fidelidade das intervenções requer a observação dos comportamentos do interventor durante o oferecimento da intervenção, por meio de instrumentos padronizados. Objetivo: Desenvolver um instrumento válido e confiável para mensurar a fidelidade de uma intervenção psicoeducativa oferecida por telefone. Método: Este estudo metodológico foi realizado em sete passos: identificação dos elementos do programa de intervenção, construção dos itens do instrumento, desenvolvimento da escala de mensuração dos itens, identificação das unidades de codificação, teste e revisão dos itens, especificação das qualificações e desenvolvimento do programa de treinamento dos avaliadores, desenvolvimento e execução do teste piloto para verificação da validade e confiabilidade do instrumento. Os materiais usados no desenvolvimento do instrumento foram o Manual do interventor e os 128 áudios das sessões de intervenção de um ensaio clínico controlado randomizado em que se testou a efetividade de uma intervenção psicoeducativa oferecida por telefone a cuidadores familiares. Resultados: O instrumento elaborado foi denominado Nursing Intervention Fidelity Evaluation Tool (NIFE Tool) e foi estruturado em quatro partes: abertura da sessão, apresentação do conteúdo da sessão, encerramento da sessão, avaliação das habilidades na comunicação, empatia, transmissão de confiança e credibilidade, compostas por 49 itens específicos sobre a intervenção testada e por 18 itens comuns às intervenções psicoeducativas. O escore do instrumento pode ser calculado item a item, para o conjunto de itens específicos de cada sessão de intervenção, para o conjunto de itens comuns de cada sessão ou para o conjunto de itens comuns considerando todas as sessões. A validade de conteúdo do instrumento foi estabelecida por 14 expertos. Como indicativos da confiabilidade do instrumento, o alfa de Cronbach foi de 0,51 para o conjunto de itens comuns, e variou entre 0,59 e 0,81 para o conjunto de itens específicos; a concordância interavalidores segundo resultados do Kappa, ficou entre moderada a substancial para 35 específicos e 15 itens comuns. Conclusões: O presente estudo permitiu o desenvolvimento de instrumento para mensurar a fidelidade de intervenção psicoeducativa e os itens comuns do instrumento podem ser usados na avaliação de outras intervenções da mesma natureza oferecidas por telefone.

Introduction: The intervention fidelity involves analyzing in which extent interventions are offered as planned. It is a variable that must be investigated as a source of data on the validity and reliability of the results obtained in good quality intervention studies. Intervention fidelity assessment requires observation of the providers' behavior during the intervention offer by means of standardized instruments. Objective: To develop a valid and reliable instrument to measure the fidelity of a psychoeducational intervention offered by telephone. Method: This methodological study was conducted in seven steps: identification of the elements of the intervention program, construction of the instrument items, development of items scaling, identification of the units for coding, item testing and review, specification of rater qualifications and development of rater training program, development and completion of the pilot testing to test validity and reliability of the instrument. The material used to develop the instrument were the Intervention Manual and 128 audios of the intervention sessions of a randomized controlled clinical trial in which the effectiveness of a psychoeducational intervention offered by telephone to family caregivers was tested. Results: The instrument developed was called Nursing Intervention Fidelity Evaluation Tool (NIFE Tool) and was divided into four parts: opening session, presentation of session content, session closure, evaluation of skills in communication, empathy, and thrustiwortiness, with 49 unique items of the tested intervention and by 18 items common to psychoeducational interventions. The instrument score can be calculated item by item, for the set of unique items of each intervention session, for the set of common items of each session or for the set of common items taken in all sessions. The instrument's content validity was performed by 14 experts. As indicative of the instrument's reliability, Cronbach's alpha was 0.51 for the set of common items, and ranged between 0.59 and 0.81 for the set of unique items; inter-raters agreement, according to Kappa coefficients, was moderate to substantial for 35 unique and 15 common items. Conclusion: This study allowed the development of an instrument to measure the fidelity of a psychoeducational intervention and their common items can be used in the evaluation of other interventions of the same nature offered by telephone.