Estudantes do ensino fundamental são ensinados a produzir textos e isto lhes permite expressar suas ideias por meio da linguagem escrita. Verificar por meio de instrumentos, se eles estão evoluindo na aquisição das habilidades de escrita é crucial, mas é ainda mais importante, utilizar ferramentas de avaliação que atendam a critérios de confiabilidade e validade. O objetivo deste estudo foi relizar o processo de validação de instrumento de avaliação de produção textual. O Protocolo de Análise de Produção Textual (Pro-AProT Santos e Hage) foi elaborado e testado (SANTOS, 2013) e publicado em 2015 (SANTOS; HAGE, 2015). Nesta nova etapa doEstudantes do ensino fundamental são ensinados a produzir textos e isto lhes permite expressar suas ideias por meio da linguagem escrita. Verificar por meio de instrumentos, se eles estão evoluindo na aquisição das habilidades de escrita é crucial, mas é ainda mais importante, utilizar ferramentas de avaliação que atendam a critérios de confiabilidade e validade. O objetivo deste estudo foi relizar o processo de validação de instrumento de avaliação de produção textual. O Protocolo de Análise de Produção Textual (Pro-AProT Santos e Hage) foi elaborado e testado (SANTOS, 2013) e publicado em 2015 (SANTOS; HAGE, 2015). Nesta nova etapa do trabalho, participaram do estudo 240 escolares do ensino fundamental do 4º ao 9º ano, 20 professores com experiência no ensino fundamental e dois fonoaudiólogos com experiência na avaliação e intervenção de crianças com Transtornos de Aprendizagem. Os escolares escreveram duas redações, uma narrativa e um texto instrucional regras de jogo ou brincadeira. As 480 redações obtidas foram corrigidas por 16 educadores do ensino fundamental e dois fonoaudiólogos. A correção ocorreu por meio do Pro- AProt. Os educadores e fonoaudiólogos também responderam a um questionário sobre a eficácia do protocolo, na condição de juízes. Outros quatro professores com experiência na correção de redações também corrigiram, entre 6 e 10 redações, seguindo os critérios do Pro-AProT e compararam com os critérios utilizados pelo Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo SARESP. Para verificação da confiabilidade foi utilizado o método Split-Half, das metades partidas, sendo que a análise foi feita calculando-se os coeficientes de precisão, por meio da fórmula de Spearman & Brown, e ainda foi realizada a análise pelo Alfa de Cronbach. A validade de conteúdo foi verificada pelo Índice de Validade de Conteúdo (IVC), sendo utilizada a Escala Likert para o julgamento em 4 níveis. Os professores e fonoaudiólogos juízes avaliaram cada item do protocolo considerando os 4 níveis. A validade do critério foi obtida pela comparação do Pro-AProt com os critérios utilizados pelo SARESP, os professores classificaram-no quanto à sua aplicabilidade e relevância, comparado com as orientações do SARESP. Os resultados das análises realizadas foram de 0,80 e 0,75 para o Coeficiente de Cronbach e de Spearman & Brown,, respectivamente. O IVC foi de 0,875 para o protocolo em geral, e 0,927 para a análise item a item. Os juízes da validade de critério apontaram que o instrumento atende as expectativas para corrigir textos, é de fácil aplicação e é válido comparado aos critérios de correção do SARESP. Assim, o Pro-AProT tem confiabilidade e validade de conteúdo e critério, atestados por medidas estatísticas, sendo julgado válido e relevante pela avaliação dos juízes.

Elemantary school students are taught to produce texts and this allows them to express their ideas through written language. Verify through instruments if they are evolving in the acquisition of writing skills is crucial, but it is even more important to use evaluation tools that meet the criteria of reliability and validity.The purpose of this study was to review the validation process of the textual production evaluation tool. The Prtotocolo de Análise de Produção Textual (Pro-AProT Santos and Hage) was elaborated and tested (SANTOS, 2013), and published in 2015 (SANTOS; HAGE, 2015). In this new stage of the study, 240 students from elementar/middle school from the fourth to the ninth year participated, 20 teachers with experience in primary education and two speech-language pathologists with experience in the evaluation and intervention of children with Learning Disorders. The student wrote two essays, a narrative and an instructional text - game rules or child play. The 480 essays were corrected by 16 elementary school teachers and two speech-language pathologists. The correction occurred through the Pro-AProT. Educators and speech-language pathologists also answered to a questionnaire about the effectiveness of the protocol as judges. Four other teachers with experience in correction essays also corrected between 6 and 10 essays, following the Pro-AProT criteria and compared with criteria used by the Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo - SARESP. In order to verify the reliability, the split-half method of the split halves was used, and the analysis was done by calculating the precision coefficients using Spearman & Brown's formula and the analysis by Cronbach's Alpha. Content validity was verified by the Content Validity Index (CVI), using the Likert Scale for the 4-level judgment. The teachers and speech- language pathologists judges evaluated each item of the protocol considering the 4 levels. The validity of the criterion was obtained by comparing Pro-AProT with the criteria used by SARESP, the teachers classified it as to its applicability and relevance, compared to the SARESP guidelines.The results of the analyzes were 0.80 and 0.75 for the Cronbach and Spearman & Brown Coefficient, respectively. The CVI was 0.875 for the protocol in general, and 0.927 for the item-by-item analysis. The judges of criterion validity pointed out that the instrument meets expectations to correct texts, is easy to apply and is valid compared to the SARESP correction criteria. Thus, the Pro-AProT has good reliability and validity of contents attested by statistical measures and was judged valid and relevant by the evaluation of the judges.