Master's Dissertation
DOI
https://doi.org/10.11606/D.45.2022.tde-31082022-210254
Document
Author
Full name
Matheus Tavares Bernardino
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2022
Supervisor
Committee
Lejbman, Alfredo Goldman Vel (President)
Araújo, Guido Costa Souza de
Sousa, Leonel Augusto Pires Seabra de
Title in English
Parallelizing Git Checkout: a case study of I/O parallelism on desktop applications
Keywords in English
Git
Network file systems
Parallel I/O
Parallel programming
Version control systems
Abstract in English
A version control system (VCS) is a tool that tracks and manages the changes made to a set of files over time. More broadly, VCS tools can also help to shape and manage collaboration flows, find and fix bugs, remember the motivations behind a given code change, etc. Although these tools can typically track any type of data, version control systems bring huge benefits to software projects and, as a result, have become standard practice in this field. Among the VCS tools available today, Git is the most popular among developers. This tool is currently being used to version control a variety of repositories, from small personal projects of a few megabytes in size to massive corporate repositories with more than 300 GB and 3.5 million files. For that reason, speed and scalability are among the top priorities for the Git development community. However, the performance of the tool sometimes falls short of what is desired on networked file systems (NFS), where input and output (I/O) operations tend to be more costly. In particular, one Git operation that suffers from these costs is checkout, which is responsible for restoring files from specific versions of a project. Various optimizations were employed on code related to the checkout operation over the years, but the sequential processing of files still carried a large time penalty for NFS, as well as being suboptimal for local file systems on SSDs. In this project, we worked to parallelize the Git checkout machinery, resulting in speedups of up to 4.5x on NFS and 3.6x on SSDs. We also study how parallelism affects the I/O tasks performed by the checkout operation on different machines and storage devices. The parallel checkout feature was incorporated into the upstream Git repository and made available to all users of the tool since version 2.32.0, which was released in June 2021.
Title in Portuguese
Paralelizando o Git Checkout: um estudo de caso sobre paralelismo de E/S em aplicações desktop
Keywords in Portuguese
Git
Paralelismo em E/S
Programação paralela
Sistemas de arquivos em rede
Sistemas de controle de versões
Abstract in Portuguese
Sistemas de controle de versões (SCV) são ferramentas que monitoraram e gerenciam as alterações feitas em um conjunto de arquivos ao longo do tempo. De forma mais abrangente, SCVs também podem contribuir para moldar e gerir fluxos de colaboração, encontrar e corrigir bugs, relembrar as motivações por trás de determinada alteração de código, etc. Apesar de tipicamente poderem monitorar qualquer tipo de dados, sistemas de controle de versão trazem benefÃcios importantÃssimos para projetos de software e, com isso, se tornaram prática padrão neste campo. Dentre as ferramentas de SCV disponÃveis atualmente, o Git é o mais popular entre desenvolvedores. A ferramenta é utilizada hoje para versionar desde pequenos projetos pessoais, com alguns megabytes de tamanho, até repositórios corporativos massivos com mais de 300 GB e 3,5 milhões de arquivos. Por esse motivo, velocidade e escalabilidade estão entre as principais prioridades para a comunidade de desenvolvimento do Git. No entanto, o desempenho da ferramenta por vezes se encontra aquém do desejado em sistemas de arquivos em rede (NFS), onde operações de entrada e saÃda (E/S) costumam ser mais custosas. Em particular, uma operação do Git que sofre com estes custos é o checkout, que é responsável por restaurar arquivos de versões especÃficas de um projeto. Diversas otimizações foram empregadas em códigos relacionados à operação de checkout ao longo do tempo, mas o processamento sequencial dos arquivos ainda trazia uma penalidade de tempo grande para NFS, além de ser subótimo para sistemas de arquivo locais em SSDs. Neste projeto, trabalhamos para paralelizar o maquinário de checkout do Git, resultando em speedups de até 4,5x em NFS e 3,6x em SSDs. Também estudamos como o paralelismo afeta as tarefas de E/S realizadas pela operação de checkout em diferentes máquinas e dispositivos de armazenamento. A funcionalidade de checkout paralelo foi incorporada ao repositório upstream do Git e disponibilizada para todos os usuários da ferramenta na sua versão 2.32.0, que foi lançada em Junho de 2021.
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2022-09-02