Can persons without disabilities be good evaluators of accessibility? This question, often posed by persons with disabilities when looking at crowdsourced accessibility maps, is related to one of the most important unresolved issues of crowdsourcing: data quality control. Many of the recent ground-breaking advancements in machine learning depend on data annotation done by humans. Existing approaches for managing inaccuracies in crowdsourcing are based on validating output against preset gold standards, but they are unsuitable for subjective contexts such as sentiment analysis, semantic annotation, or measuring accessibility. While existing accessibility maps are largely centered in Europe and the United States, we built the largest database of such kind in Latin America. We detail techniques used for engaging over 27,000 volunteers who generated more than 300,000 data points over the course of 90 months, and a novel method for validating data quality in a context that lacks a definite ground truth. We tested it by applying concepts of serious games for exposing biases of different demographic profiles, and crowdsourced a different dataset for validating data quality. We found that persons without disabilities did not have worse performance than persons with disabilities, strong evidence that crowdsourcing can be a reliable source for accessibility data.

Pessoas sem deficiência podem ser bons avaliadores de acessibilidade? Essa questão, frequentemente colocada por pessoas com deficiência quando olham para mapas de acessibilidade construídos via crowdsourcing, está relacionada com uma das questões não resolvidas mais importantes do crowdsourcing: o controle da qualidade dos dados. Muitos dos avanços recentes em aprendizagem de máquina dependem de anotação de dados feita por humanos. Abordagens existentes para gerenciar imprecisões em crowdsourcing baseiam-se na validação de resultados em relação a padrões-ouro predefinidos, e por isso são inadequadas para contextos subjetivos como análise de sentimento, anotação semântica ou medição de acessibilidade. Enquanto os mapas de acessibilidade existentes estão centrados na Europa e nos Estados Unidos, construímos a maior base de dados desse tipo na América Latina. Detalhamos técnicas usadas para engajar mais de 27.000 voluntários que geraram acima de 300.000 dados ao longo de 90 meses, e um novo método para validar qualidade de dados em um contexto que não tem uma verdade básica. Nós o testamos aplicando conceitos de jogos sérios para expor vieses de diferentes perfis demográficos e coletamos um conjunto de dados diferente para a avaliação de qualidade. Descobrimos que pessoas sem deficiência não tiveram um desempenho pior do que pessoas com deficiência, uma forte evidência de que crowdsourcing pode ser uma fonte confiável de dados de acessibilidade.