• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
Documento
Autor
Nome completo
Renato Porfirio Ishii
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos,2010
Orientador
Banca examinadora
Mello, Rodrigo Fernandes de (Presidente)
Sato, Liria Matsumoto
Schulze, Bruno Richard
Senger, Hermes
Ueyama, Jo
Título em português
Otimização de operações de entrada e saída visando reduzir o tempo de resposta de aplicações distribuídas que manipulam grandes volumes de dados
Palavras-chave em português
Análise de séries temporais
Computação distribuída
Otimização de acesso a dados
Sistemas de arquivos distribuídos
Resumo em português
Aplicações científicas atuais têm produzido volumes de dados cada vez maiores. O processamento, a manipulação e a análise desses dados requerem infraestruturas computacionais de larga escala tais como aglomerados e grades de computadores. Nesse contexto, várias pesquisas visam o aumento de desempenho dessas aplicações por meio da otimização de acesso a dados. Para alcançar tal objetivo, pesquisadores têm utilizado técnicas de replicação, migração, distribuição e paralelismo de dados. No entanto, uma das principais lacunas dessas pesquisas está na falta de emprego de conhecimento sobre aplicações com objetivo de realizar essa otimização. Essa lacuna motivou esta tese que visa empregar comportamento histórico e preditivo de aplicações a fim de otimizar suas operações de leitura e escrita sobre dados distribuídos. Os estudos foram iniciados empregando-se informações previamente monitoradas de aplicações a fim de tomar decisões relativas à replicação, migração e manutenção de consistência. Observou-se, por meio de uma nova heurística, que um conjunto histórico de eventos auxilia a estimar o comportamento futuro de uma aplicação e otimizar seus acessos. Essa primeira abordagem requer ao menos uma execução prévia da aplicação para composição de histórico. Esse requisito pode limitar aplicações reais que apresentam mudanças comportamentais ou que necessitam de longos períodos de execução para completar seu processamento. Para superar essa limitação, uma segunda abordagem foi proposta baseada na predição on-line de eventos comportamentais de aplicações. Essa abordagem não requer a execução prévia da aplicação e permite adaptar estimativas de comportamento futuro em função de alterações adjacentes. A abordagem preditiva analisa propriedades de séries temporais com objetivo de classificar seus processos geradores. Essa classificação aponta modelos que melhor se ajustam ao comportamento das aplicações e que, portanto, permitem predições com maior acurácia. As duas abordagens propostas foram implementadas e avaliadas utilizando o simulador OptorSim, vinculado ao projeto LHC/CERN, amplamente adotado pela comunidade científica. Experimentos constataram que as duas abordagens propostas reduzem o tempo de resposta (ou execução) de aplicações que manipulam grandes volumes de dados distribuídos em aproximadamente 50%
Título em inglês
Optimization input output operations aiming at reduce execution time of distributed applications which handle large amount of data
Palavras-chave em inglês
Data access optimization
Distributed computing
Distributed file system
Time series analysis
Resumo em inglês
Current scientific applications produce large amount of data and handling, processing and analyzing such data require large-scale computing infrastructure such as clusters and grids. In this context, various studies have focused at improving the performance of these applications by optimizing data access. In order to achieve this goal, researchers have employed techniques of replication, migration, distribution and parallelism of data. However, these common approaches do not use knowledge about the applications at hand to perform this optimization. This gap motivated the present thesis, which aims at applying historical and predictive behavior of applications to optimize their reading and writing operations on distributed data. Based on information previously monitored from applications to make decisions regarding replication, migration and consistency of data, a new heuristic was initially proposed. Its evaluation revealed that considering sets of historical events indeed helps to estimate the behavior of future applications and to optimize their access operations. Thus it was embedded into two optimization approaches. The first one requires at least a previous execution for the history composition. This requirement may limit real world applications which present behavioral changes or take very long time to execute. In order to overcome this issue, a second technique was proposed. It performs on-line predictions about the behavior of the applications, mitigating the need of any prior execution. Additionally, this approach considers the future behavior of an application as a function of its underlying changes. This behavior can be modeled as time series. The method works by analyzing the series properties in order to classify their generating processes. This classification indicates models that best fit the applications behavior, allowing more accurate predictions. Experiments using the OptorSim simulator (LHC/CERN project) confirmed that the proposed approaches are able to reduce the response time of applications that handle large amount of distributed data in approximately 50%
 
Arquivos
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
tese.pdf (5.59 Mbytes)
Data de Publicação
2010-09-23
 
Número de visitas
1165
Número de downloads
345
 
AVISO: O material descrito abaixo refere-se a trabalhos decorrentes desta tese ou dissertação. O conteúdo desses trabalhos é de inteira responsabilidade do autor da tese ou dissertação.
  • DE SOUZA, Bruno, et al. Multiclass SVM Model Selection Using Particle Swarm Optimization [online]. In 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS'06), Rio de Janeiro, Brazil, 2006. Rio de Janeiro, Brazil : IEEE, 2006. p. 31. ISBN 0-7695-2662-4. [cited 2012-05-28]. Available from : <http://dx.doi.org/10.1109/HIS.2006.264914>
  • ISHII, R.P., et al. Scheduling Based on the Impact over Process Communication of Parallel Applications [online]. In 19th International Symposium on High Performance Computing Systems and Applications (HPCS'05), Guelph, ON, Canada, . Guelph, ON, Canada : IEEE, 2005. p. 149-155. [cited 2012-06-28]. Available from : <http://dx.doi.org/10.1109/HPCS.2005.46>
  • ISHII, Renato P., RIOS, Ricardo A., and MELLO, Rodrigo F. Classification of time series generation processes using experimental tools : a survey and proposal of an automatic and systematic approach. International Journal of Computational Science and Engineering [online], 2011, vol. 6, n. 4, p. 217. ISSN 1742-7193. [cited 2012-06-28]. Available from : <http://dx.doi.org/10.1504/IJCSE.2011.043919>
  • ISHII, Renato Porfirio, and FERNANDES DE MELLO, Rodrigo. An Online Data Access Prediction and Optimization Approach for Distributed Systems. IEEE Transactions on Parallel and Distributed Systems [online], 2012, vol. 23, n. 6, p. 1017-1029. ISSN 1045-9219. [cited 2012-06-28]. Available from : <http://dx.doi.org/10.1109/TPDS.2011.256>
  • ISHII, RENATO P., et al. Improving Scheduling of Communication Intensive Parallel Applications on Heterogeneous Computing Env. Parallel Processing Letters [online], 2005, vol. 15, n. 4, p. 423-438. ISSN 01296264. [cited 2012-05-28]. Available from : <http://dx.doi.org/10.1142/S0129626405002349>
  • MELLO, Rodrigo F., et al. Optimizing Distributed Data Access in Grid Environments by Using Artificial Intelligence Techniques. In STOJMENOVIC, Ivan, et al. Parallel and Distributed Processing and Applications [online]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 14. p. 125-136. Lecture Notes in Computer Science. ISBN 978-3-540-. [cited 2012-05-28]. Available from : <http://dx.doi.org/10.1007/978-3-540-74742-0_14>
  • PERROTT, Ronald, et al. High Performance Computing and Communications [online]. Editor. Berlin, Heidelberg : Springer Berlin Heidelberg, 2007. chap. 24, A Complex Network-Based Approach for Job Scheduling in Grid Environments, p. 204-215. Lecture Notes in Computer Science. ISBN 978-3-540-. [cited 2012-05-28]. Available from : <http://dx.doi.org/10.1007/978-3-540-75444-2_24>
Copyright © 2011 Biblioteca Digital de Teses e Dissertações da USP. Todos os direitos reservados.