Introdução: A grande quantidade de informação digital em formato textual existente na internet transforma em atividades essenciais a organização, análise e extração de conhecimento, tanto no universo acadêmico quanto no mercado de trabalho e, com isso, a classificação automática de textos vêm ganhando cada vez mais destaque. A classificação de questões é um subgrupo da classificação de textos e consiste, basicamente, da associação de um ou mais rótulos a cada questão, de acordo com um critério pré-determinado, mas com menos texto disponível que os documentos em geral. As principais aplicações dos sistemas de classificação automática de questões são: QA (Question/Answering), IR (Information Retrieval), Ambiente educacional e tratamento de linguagens específicas. Os sistemas de QA e RI têm como ponto de partida uma pergunta escrita em linguagem natural e, a partir daí, buscam uma coleção de documentos na Web que sejam compatíveis com o assunto descrito. Considerando especificamente o ambiente educacional, a geração automática de testes de avaliação tem aplicação prática imediata nos sistemas de e-learning por viabilizar a personalização do ensino através da busca de questões adequadas a um determinado perfil de aprendizado, os chamados sistemas de ensino adaptativo. Para viabilizar a personalização, é essencial classificar as questões dentro de uma variedade representativa de competências e habilidades. As avaliações em larga escala (ENEM, SAEB, Prova Brasil) podem ser uma fonte de informação para essa geração, pois utilizam Matrizes de Referência de Avaliação (MRA) para classificar as questões de acordo com as áreas do conhecimento, disciplinas, competências e habilidades esperadas dos estudantes. Uma forma de realizar esta classificação é através de algoritmos de Aprendizado de Máquina, capazes de extrair padrões ou generalizar classes através de geração de modelos matemáticos a partir dos dados disponíveis. São exemplos de algoritmos de Aprendizado de Máquina: redes neurais, árvores de decisão, máquinas de vetor de suporte SVM, naive bayes, KNN, entre outros. As diferentes formas de representação de texto para algoritmos de Aprendizado de Máquina possuem vasta pesquisa realizada quando se trata da classificação de documentos com grandes quantidades de texto; quando se trata de pequenos trechos (caso das questões), essa tarefa se torna mais complexa pois a quantidade de texto disponível para análise é reduzida em comparação aos outros tipos de documentos textuais. Além disso, a imensa maioria das pesquisas atuais se voltam para o problema de QA ou IR e há pouca pesquisa disponível considerando o ambiente educacional. Objetivos: (i) Identificar a arquitetura de um classificador ou conjunto de classificadores de forma a maximizar o desempenho do processo de classificação de questões no contexto educacional; (ii) realizar uma avaliação empírica para comparar o desempenho das diferentes combinações utilizadas; (iii) disponibilizar as representações, algoritmos, códigos-fonte e ferramentas desenvolvidos para a comunidade científica avaliar e replicar resultados e (iv) disponibilizar ferramentas de integração e aplicação dos conteúdos desenvolvidos para utilização por outras plataformas e instituições (escolas, empresas) interessadas em utilizar as competências do ENEM para realizar diagnósticos e acompanhamento de aprendizagem. Método: Estudo de caso com base em cerca de 25 mil questões pré-processadas retiradas de avaliações do ENEM até 2017 e classificadas por especialistas em educação dentro das disciplinas, competências e habilidades contidas na matriz de avaliação. A partir disso, foram realizados experimentos com classificadores gerados pelas diferentes combinações de representações de texto, cálculos de peso dos termos e algoritmos de Aprendizado de Máquina supervisionados produzindo, ao final, um comparativo com os indicadores de desempenho. Resultados: (i) modelo geral para construção de classificadores automáticos de questões voltadas a avaliações em larga escala; (ii) identificação do estado da arte na classificação de questões para contexto educacional e avaliações em larga escala; (iii) estado da arte nos resultados de classificação de questões em redes no contexto educacional; (iv) efetividade do método IQF *QF * ICF para o cálculo de pesos/frequências na classificação de questões; (v) banco de dados constantemente atualizável composto de questões classificadas e representativas do ENEM e suas competências; (vi) API para integração com outras plataformas das funcionalidades e (vii) análise de desempenho com comparativo dos indicadores gerados pelos classificadores de questões. Conclusões: Com base nos resultados obtidos, a combinação da representação de textos no modelo espaço-vetorial, técnica IQF * QF * ICF e o algoritmo KNN, se mostrou a melhor arquitetura para o classificador de questões do ENEM com desempenho geral médio em torno de 80% de acurácia. Destacam-se como principais contribuições: i) apoio às plataformas de ensino adaptativo; ii) ferramentas de classificação para as editoras de material didático; iii) apoio a professores e equipes pedagógicas na elaboração de avaliações diagnósticas contínuas sobre as facilidades e dificuldades de seus alunos. Relativamente aos trabalhos futuros, pretende-se gerar classificadores específicos para os exames Prova Brasil e SAEB, integrar a solução com um LMS de código aberto (Moodle, por exemplo) e desenvolver um algoritmo para conversão das questões do ENEM em imagens para classificação via rede neural convolucional.

Introduction: The large amount of digital textual information available on the Internet makes the organization, analysis and extraction of knowledge essential both in the academic world and in the job market, making automatic text classification increasingly important. Question classification is a subgroup of text classification and basically consists of associating one or more labels with each question, according to a predetermined criterion, but with less text available than the general documents. The main applications of automatic question classification systems are: QA (Question/Answering), IR (Information Retrieval), educational environment, and specific languages processing. The QA and IR systems have as their starting point a question written in natural language and, from there, search a collection of documents in the web that are compatible with the subject described. Considering specifically the educational environment, the automatic generation of assessment tests has immediate practical application in e-learning systems by enabling the personalization of teaching through the search for questions that are appropriate to a particular learning profile, the so-called adpative learning systems. To enable personalization, it is essential to classify questions within a representative range of appropriate competencies and skills. Large-scale evaluations (ENEM, SAEB, Prova Brasil) could be a source of information for this generation, as they use evaluation reference matrices to classify questions according to the areas of knowledge, disciplines, competencies and expected skills of students. One way to perform this classification is through Machine Learning algorithms that are able to extract patterns or generalize classes by generating mathematical models from the available data. Examples of Machine Learning algorithms are: neural networks, decision trees, support vector machines (SVM), naive bayes, among others. The different forms of text representation and Machine Learning algorithms have extensive research done when it comes to classifying documents with large amounts of text; when it comes to short excerpts (such as questions), this task becomes more complex because the amount of text available for analysis is reduced when compared to other types of textual documents. In addition, the majority of current research addresses the problem of QA or IR, and there is not a lot of research available considering the educational environment. Objectives: (i) Identify the architecture of a classifier or set of classifiers in order to maximize the performance of the question classification process in the educational context; (ii) perform an empirical evaluation to compare the performance of the different combinations used; (iii) make available representations, algorithms, source codes and tools developed for the scientific community to evaluate and replicate results; and (iv) make available tools for integration and application of content developed for use by other platforms and institutions (schools, companies) interested in use ENEM skills to perform diagnostics and learning monitoring. Method: Case study based on about 25,000 preprocessed questions taken from ENEM assessments until 2017 and rated by education experts within the disciplines, competencies and skills contained in the assessment matrix. From this, experiments were performed with classifiers generated by the different combinations of text representations, term weighting calculations, and supervised Machine Learning algorithms producing, in the end, a comparison with the performance indicators. Results: (i) general model for building automatic classifiers of large-scale assessments questions; (ii) state of the art identification in the question classification of educational context and large scale assessments; (iii) state of the art in the results of question classifying based in network text representation in the educational context; (iv) effectiveness of the IQF *QF * ICF method for term-weighting in the question classification tasks; (v) constantly updated database composed of classified and representative questions of ENEM and its competencies; (vi) API for integration with other functionality platforms; and (vii) performance analysis comparing the indicators generated by the question classifiers. Conclusions: Based on the results obtained, the combination of the text representation in the space-vector model, technique IQF *QF * ICF and the algorithm KNN, proved to be the best architecture for the ENEM queton classifier with average overall performance. around 80 % accuracy. The main contributions include: (i) support for adaptive education platforms; ii) rating tools for educational material publishers; iii) support to teachers and pedagogical teams in the elaboration of continuous diagnostic evaluations about the facilities and difficulties of their students. For future work, we intend to generate specific classifiers for the Prova Brasil and SAEB exams, integrate the solution with an open source LMS (Moodle, for example) and develop an algorithm for converting ENEM questions into images and perform classification using a convolutional neural network.