A critical factor for the Deep Learning progress over the years was the proposal of novel architectures that enabled considerable advancements in the learning capabilities of Neural Networks. However, experts still mainly define neural architectures in a time-consuming trialand- error process. As a result, the need for optimizing this process led to the emergence of Neural Architecture Search (NAS), which has two main advantages over the status quo: It can optimize practitioners time by automating architecture design, and enables the discovery of novel architectures. The NAS framework has three main components: (i) Search Space, which defines the space of candidate architectures; (ii) Search Strategy, which specifies how the Search Space is explored; and the (iii) Performance Estimation Strategy that defines how an architectures performance is estimated. While the Cell-based Search Space has dominated popular NAS solutions, the same is not true for Search and Performance Estimation Strategies where no dominant approach is used. Many NAS methods explore architectures space using Reinforcement Learning, Evolutionary Computation, and Gradient-based Optimization. As a Performance Estimation Strategy, the so-called One-Shot models and the more recent Training- Free and Prediction-based methods have also gained notoriety. Despite presenting good predictive performance and reduced costs, existing NAS methods using such approaches still suffer from model complexity, requiring many powerful GPUs and long training times. Furthermore, several popular solutions require large amounts of data to converge, involve inefficient and complex procedures, and lack interpretability. In this context, a potential solution is the use of Meta-Learning (MtL). MtL methods have the advantage of being faster and cheaper than mainstream solutions by using previous experience to build new knowledge. Among MtL approaches, three stand out: (i) Learning from Task Properties; (ii) Learning from Model Evaluations; and (iii) Learning from Prior Models. This thesis proposes two methods that use prior knowledge to optimize the NAS framework: Model-based Meta-Learning for Neural Architecture Search (MbML-NAS) and Active Differentiable Network Topology Search (Active- DiNTS). MbML-NAS learns from both task characteristics encoded by architectural metafeatures and performances from pre-trained architectures to predict and select ConvNets for Image Classification. Active-DiNTS learns from model evaluations, prior models, and task properties in the form of an Active Learning framework that takes information from model outputs, uncertainty estimations, and newly labeled examples in an iterative process. Experiments with MbML-NAS showed that the method was able to generalize to different search spaces and datasets using a minimum set of six interpretable meta-features. Using a simple approach with traditional regressors, MbML-NAS reported comparable predictive performances with the stateof- the-art using at least 172 examples or just 0.04% and 1.1% from the NAS-Bench-101 and NAS-Bench-201 search spaces. Active-DiNTS obtained state-of-the-art results in segmenting images in the Brain dataset from the MSD challenge, surpassing the main baseline DiNTS by up to 15%. In terms of efficiency, alternative configurations achieved comparable results to DiNTS using less than 20% of the original data. Furthermore, Active-DiNTS is computationally efficient as it generates models with fewer parameters and better memory allocation using one GPU.

Um fator crítico para o progresso de Deep Learning ao longo dos anos foi a proposta de novas arquiteturas que permitiram avanços consideráveis nas capacidades de aprendizagem de Redes Neurais. No entanto, especialistas ainda majoritariamente definem arquiteturas neurais em um processo demorado de tentativa e erro. Como resultado, a necessidade de otimização deste processo levou ao surgimento da Busca de Arquitetura Neural (NAS), que apresenta duas vantagens principais sobre o status quo: Pode otimizar o tempo de profissionais ao automatizar o projeto das arquiteturas, e permite a descoberta de novas arquiteturas. A estrutura de NAS tem três componentes principais: (i) Espaço de Busca, que define o espaço das arquiteturas candidatas; (ii) Estratégia de Busca, que especifica como o Espaço de Busca é explorado; e (iii) Estratégia de Estimativa de Performance, que define como o desempenho de uma arquitetura é estimado. Embora o Espaço de Buca baseado em célula tenha dominado soluções NAS populares, o mesmo não acontece com as Estratégias de Busca e Estimativa de Performance, onde nenhuma abordagem dominante é usada. Muitos métodos de NAS exploram o espaço das arquiteturas usando Aprendizado por Reforço, Computação Evolucionária e Otimização Baseada em Gradiente. Como Estratégia de Estimativa de Performance, os chamados modelos One-Shot e os mais recentes métodos Training-Free e Prediction-based também ganharam notoriedade. Apesar de apresentar bom desempenho preditivo e custos reduzidos, os métodos de NAS existentes que utilizam tais abordagens ainda sofrem com complexidade de modelo, exigindo muitas GPUs poderosas e longos tempos de treinamento. Além disso, diversas soluções populares exigem grandes quantidades de dados para convergir, envolvem procedimentos ineficientes e complexos, e carecem de interpretabilidade. Neste contexto, uma solução potencial é a utilização de Meta-Aprendizado (MtL). Os métodos de MtL têm a vantagem de serem mais rápidos e baratos que soluções convencionais, pois utilizam experiência prévia para construir novos conhecimentos. Dentre as abordagens MtL, três se destacam: (i) Aprendizado a partir de Propriedades de Tarefa; (ii) Aprendizado a partir de Avaliações de Modelos; e (iii) Aprendizado a partir de Modelos Anteriores. Esta tese propõe dois métodos que utilizam conhecimento prévio para otimizar o framework NAS: Model-based Meta-Learning for Neural Architecture Search (MbML-NAS) e Active Differentiable Network Topology Search (Active-DiNTS). O MbMLNAS aprende tanto com características de tarefas codificadas por meta-atributos arquitetônicos quanto com desempenhos de arquiteturas pré-treinadas para prever e selecionar ConvNets para Classificação de Imagens. O Active-DiNTS aprende com avaliações de modelos, modelos anteriores e propriedades de tarefas na forma de uma estrutura de Aprendizado Ativo que obtém informações de resultados de modelos, estimativas de incerteza e novos exemplos rotulados em um processo iterativo. Experimentos com o MbML-NAS mostraram que o método foi capaz de generalizar para diferentes espaços de busca e conjuntos de dados usando um conjunto mínimo de seis meta-atributos interpretáveis. Usando uma abordagem simples com regressores tradicionais, o MbML-NAS relatou desempenhos preditivos comparáveis com o estado-da-arte usando pelo menos 172 exemplos ou apenas 0,04% e 1,1% dos espaços de busca do NAS-Bench- 101 e NAS- Bench-201. O Active-DiNTS obteve resultados estado-da-arte na segmentação de imagens do conjunto de dados Brain do desafio MSD, superando a linha de base principal DiNTS em até 15%. Em termos de eficiência, configurações alternativas alcançaram resultados comparáveis ao DiNTS usando menos de 20% dos dados originais. Além disso, o Active-DiNTS é computacionalmente eficiente pois gera modelos com menos parâmetros e melhor alocação de memória usando uma GPU.