Introdução. As revisões sistemáticas permitem que a produção científica sobre um assunto específico seja agregada e resumida, entretanto, sua realização é árdua, principalmente nas etapas iniciais, sendo de grande utilidade a existência de ferramentas computacionais que automatizem ou semiautomatizem o trabalho manual de investigadores. Objetivo. Desenvolver e avaliar um sistema computacional para identificar referências duplicadas e auxiliar na fase de elegibilidade de estudos de revisão de literatura. Métodos. Estudo metodológico que apresenta o sistema web "Apoio à Revisão Sistemática" (AReS), versão 1.0, com ênfase na avaliação de validade da identificação de referências duplicadas e na avaliação de usabilidade. Na descrição de suas funcionalidades, foram simuladas as etapas iniciais de uma revisão sistemática com estudos sobre fibrose cística. Na avaliação de validade, realizou-se comparação de sensibilidade e especificidade dos sistemas AReS, EndNote® e Rayyan®, considerando-se como referência a seleção manual de duplicatas. Para o teste de usabilidade, estudantes de pós-graduação, voluntários, resolveram 21 tarefas utilizando o sistema AReS. Os dados observados foram registrados e permitiram a avaliação da conclusão das tarefas (eficácia) e do tempo necessário para conclusão de cada tarefa (eficiência); a usabilidade foi avaliada pelos participantes por meio do instrumento System Usability Scale (SUS). Resultados: O sistema AReS permite eliminar referências duplicadas e apresentar resumos na mesma tela que contém os critérios de elegibilidade, facilitando a identificação dos elegíveis. O sistema compara as decisões dos pesquisadores sobre a elegibilidade dos estudos, mostrando as divergências a serem resolvidas. Na avaliação de validade, o sistema AReS identificou maior proporção de verdadeiras duplicatas do que os sistemas EndNote® e Rayyan®, com valores de sensibilidade, especificidade e acurácia acima de 98%. A avaliação de usabilidade resultou em índice de conclusão das tarefas acima de 90%, conforme esperado, com tempo médio total de 55,1 minutos, quando o esperado era de no máximo 60 minutos, e nota média de usabilidade de 82,4 em escala de 0 a 100. Conclusão: O sistema AReS (versão 1.0) permite a eliminação acurada de referências duplicadas e auxilia na seleção de estudos na fase de elegibilidade em revisões de literatura. A eficácia, eficiência e o grau de usabilidade fornecido pelo instrumento SUS poderão ser melhorados a partir da incorporação de ajustes que foram identificados no teste de usabilidade.

Introduction. Systematic reviews enable the scientific output on a specific subject to be pooled and summarized, but this can be painstaking, especially in the early stage. Thus, computer-based tools which semi or fully automate the manual work of investigators can be of great utility. Objective. To develop and assess a computer-based system for identifying duplicate references and aiding the eligibility stage of literature review studies. Methods. A methodological study presenting the Systematic Review Support web-based System (AReS), version 1.0, with assessment of the validity of the identification of duplicate references and usability evaluation. In the description of its functionalities, the initial stages of a systematic review of studies on cystic fibrosis were simulated. For the assessment of validity, a comparison of the sensitivity and specificity of the AReS, EndNote® and Rayyan® systems was made, adopting manual screening for duplicates as a benchmark. For the test of usability, volunteer post-graduate students performed 21 tasks using the AReS system. The data observed were recorded, allowing an assessment of task completion (effectiveness) and time required to complete each task (efficiency); usability was rated by participants using the System Usability Scale (SUS). Results: The AReS system allowed removal of duplicate references; displayed the abstracts on the same screen as the eligibility criteria, aiding the identification of eligible abstracts. The system compared the decisions of the researchers regarding the eligibility of the studies, showing the differences to be resolved. On the validity assessment, the AReS identified a larger proportion of true duplicates than the EndNote® and Rayyan® systems tested, yielding sensitivity, specificity and accuracy values exceeding 98%. The evaluation of usability resulted in a task completion rate of over 90%, as expected, with a mean time of 55.1 minutes within a maximum expected time of 60 minutes, and usability score of 82.4 on a scale of 0 to 100. Conclusion: The AReS system (version 1.0) enabled accurate exclusion of duplicate references in literature reviews and aided the screening of studies in the eligibility stage. The effectiveness, efficiency and level of usability on the SUS can be further enhanced by incorporating tweaks identified in the usability tests.