This dissertation aims to study a type of Artificial Neural Networks (ANNs), known as Reservoir Computing, specifically, the Echo State Networks (ESNs). ESNs are Recurrent Neural Networks (RNNs), which make input-output mapping through a high dimensional nonlinear projection, called reservoir. In a classic ESN, the internal connection matrix of the reservoir usually is formed by an Erdös-Rényi random graph. Recent studies have also investigated Clustered ESNs (CESNs), which replaces the random network inside the reservoir by a clustered network. Both types of ESNs have been applied to time series prediction problems. In this work, an ESN with a clustered Barabási-Albert network (Barabási-Albert CESN), and a deep ESN with clustered reservoir layers (Deep CESNs) are designed. Moreover, we propose to apply ESNs in two new different tasks: the frequency filtering problem and the noise filtering problem of time series. We also compare the performance of the classical ESN and its various extensions in these two tasks. Numerical results show that the proposed ESNs (Barabási-Albert CESN and Deep CESNs) outperform the classical ESN, indicating that the organization of reservoirs in clustered or layered networks can improve the learning performance of ESNs.

Esta dissetação tem como objetivo estudar um tipo de Rede Neural Artificial (RNA), conhecido como Reservoir Computing, mais especificamente as Echo State Networks (ESNs). ESNs são redes neurais recorrentes (RNNs), que fazem o mapeamento de entrada-saída através de projeções não-lineares de alta dimensão, chamada de reservoir. No modelo clássico da ESN, a matriz das conexões internas do reservatório é usualmente uma rede aleatória Erdös-Rényi. Estudos recentes investigaram o uso de redes com clusters dentro do reservatório de uma ESN, as Clustered ESNs (CESNs), sendo que essa nova rede do reservatório apresenta uma topologia com clusters. Ambos tipos de ESNs foram aplicadas ao problema de predição de séries temporais. Neste trabalho, são propostas uma ESN com redes Barabási-Albert em cada cluster (Barabási-Albert CESN), e uma deep ESN em que cada camada dessa rede contém uma rede com clusters (Deep CESNs). Além disso, foi proposto a aplicação de ESNs e suas extensões em dois novos problemas: o filtro de frequências e a remoção de ruídos de séries temporais. Uma comparação foi feita entre o modelo clássico da ESN e suas extensões. Experimentos númericos mostram que os modelos propostos de ESNs (Barabási-Albert CESN and Deep CESNs) superam o desempenho do modelo clássico da ESN, indicando que a organização dos reservatórios em clusters ou em camadas melhoram o desempenho da rede.