Faster feature selection algorithms become a necessity as Big Data dictates the zeitgeist. An important class of feature selectors are Markov Blanket (MB) learning algorithms. They are Causal Discovery algorithms that learn the local causal structure of a target variable. A common assumption in their theoretical basis, yet often violated in practice, is causal sufficiency. The M3B algorithm was proposed as the first to directly learn the MB without demanding causal sufficiency. The main drawback of M3B is that it is time inefficient, being intractable for high-dimensional inputs. Intending a faster method, we derive the Fast Markov Blanket Discovery Algorithm (FMMB). Empirical results that compare FMMB to M3B on the structural learning task show that FMMB outperforms M3B in terms of time efficiency, while preserving structural accuracy given a large enough sample size. Moreover, we introduce a new technique to aggregate bootstrapped MB structures, that first extracts a consensus MB, than constructs the aggregated structure as the union of the most probable path between each feature in the MB and the target. Comparisons with the state of the art shows that the proposed aggregation has a smaller loss of information. The analysis was conducted by using Credit-related data, with special focus on Peer-to-Peer lending platforms. Our results validate the credit scoring models used by these platforms as effective in identifying bad borrowers, yet still have room for improvement. Finally, we propose an ensemble of Bayesian Network Classifiers trained using the Cross-Entropy method. The ensemble performs better in credit scoring than Logistic Regression and Random Forests in the selected datasets.

Seleção de features com maior velocidade se torna uma necessidade conforme Big Data dita o zeitgeist. Uma classe importante de seletores de features são algoritmos de descoberta de Markov Blanket (MB).São algoritmos de descoberta causal que aprendem a estrutura causal local de uma variável alvo. Uma suposição comum em sua base teórica, frequentemente violada na prática, é a de suficiência causal: a crença de que todas as causas em comum das variáveis que foram medidas, compondo o conjunto de dados, também estão no conjunto de dados. Recentemente, o algoritmo M3B foi proposto. É o primeiro a aprender diretamente o MB sem demandar suficiência causal. A maior desvantagem do M3B é sua ineficiência de tempo, sendo intratável para entradas muito grandes. Aqui, nós derivamos o Fast Markov Blanket Discovery Algorithm (FMMB). Resultados empíricos comparando o FMMB com o M3B em termos de aprendizado estrutural mostram que o FMMB tem melhor desempenho em termos de tempo, enquanto preservando a acurácia da estrutura causal dado um tamanho amostral grande o suficiente. Além disso, nós introduzimos uma nova técnica para agregar resultados de estruturas de MB que advém de bootstrap, que primeiro extrai um consenso de qual é o MB, então constrói a estrutura agregada como a união do caminho mais provável entre o alvo e as features que compõem o MB. Comparações com o estado da arte mostram que a agregação proposta perde menos informação. As analises foram conduzidas usando dados de crédito, com atenção especial à plataformas de empréstimos interpessoais. Nossos resultados validam os modelos de crédito usados por essas plataformas como efetivos na identificação de maus pagadores. Por fim, propomos um ensemble de Classificadores Baseados em Redes Bayesianas treinado usando o Método da Entropia Cruzada. O ensemble performou melhor em Credit Scoring do que Regressão Linear e Random Forests nos conjuntos de dados selecionados.