Disertación de Maestría
DOI
https://doi.org/10.11606/D.45.2022.tde-31082022-210254
Documento
Autor
Nombre completo
Matheus Tavares Bernardino
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Paulo, 2022
Director
Tribunal
Lejbman, Alfredo Goldman Vel (Presidente)
Araújo, Guido Costa Souza de
Sousa, Leonel Augusto Pires Seabra de
Título en inglés
Parallelizing Git Checkout: a case study of I/O parallelism on desktop applications
Palabras clave en inglés
Git
Network file systems
Parallel I/O
Parallel programming
Version control systems
Resumen en inglés
A version control system (VCS) is a tool that tracks and manages the changes made to a set of files over time. More broadly, VCS tools can also help to shape and manage collaboration flows, find and fix bugs, remember the motivations behind a given code change, etc. Although these tools can typically track any type of data, version control systems bring huge benefits to software projects and, as a result, have become standard practice in this field. Among the VCS tools available today, Git is the most popular among developers. This tool is currently being used to version control a variety of repositories, from small personal projects of a few megabytes in size to massive corporate repositories with more than 300 GB and 3.5 million files. For that reason, speed and scalability are among the top priorities for the Git development community. However, the performance of the tool sometimes falls short of what is desired on networked file systems (NFS), where input and output (I/O) operations tend to be more costly. In particular, one Git operation that suffers from these costs is checkout, which is responsible for restoring files from specific versions of a project. Various optimizations were employed on code related to the checkout operation over the years, but the sequential processing of files still carried a large time penalty for NFS, as well as being suboptimal for local file systems on SSDs. In this project, we worked to parallelize the Git checkout machinery, resulting in speedups of up to 4.5x on NFS and 3.6x on SSDs. We also study how parallelism affects the I/O tasks performed by the checkout operation on different machines and storage devices. The parallel checkout feature was incorporated into the upstream Git repository and made available to all users of the tool since version 2.32.0, which was released in June 2021.
Título en portugués
Paralelizando o Git Checkout: um estudo de caso sobre paralelismo de E/S em aplicações desktop
Palabras clave en portugués
Git
Paralelismo em E/S
Programação paralela
Sistemas de arquivos em rede
Sistemas de controle de versões
Resumen en portugués
Sistemas de controle de versões (SCV) são ferramentas que monitoraram e gerenciam as alterações feitas em um conjunto de arquivos ao longo do tempo. De forma mais abrangente, SCVs também podem contribuir para moldar e gerir fluxos de colaboração, encontrar e corrigir bugs, relembrar as motivações por trás de determinada alteração de código, etc. Apesar de tipicamente poderem monitorar qualquer tipo de dados, sistemas de controle de versão trazem benefÃcios importantÃssimos para projetos de software e, com isso, se tornaram prática padrão neste campo. Dentre as ferramentas de SCV disponÃveis atualmente, o Git é o mais popular entre desenvolvedores. A ferramenta é utilizada hoje para versionar desde pequenos projetos pessoais, com alguns megabytes de tamanho, até repositórios corporativos massivos com mais de 300 GB e 3,5 milhões de arquivos. Por esse motivo, velocidade e escalabilidade estão entre as principais prioridades para a comunidade de desenvolvimento do Git. No entanto, o desempenho da ferramenta por vezes se encontra aquém do desejado em sistemas de arquivos em rede (NFS), onde operações de entrada e saÃda (E/S) costumam ser mais custosas. Em particular, uma operação do Git que sofre com estes custos é o checkout, que é responsável por restaurar arquivos de versões especÃficas de um projeto. Diversas otimizações foram empregadas em códigos relacionados à operação de checkout ao longo do tempo, mas o processamento sequencial dos arquivos ainda trazia uma penalidade de tempo grande para NFS, além de ser subótimo para sistemas de arquivo locais em SSDs. Neste projeto, trabalhamos para paralelizar o maquinário de checkout do Git, resultando em speedups de até 4,5x em NFS e 3,6x em SSDs. Também estudamos como o paralelismo afeta as tarefas de E/S realizadas pela operação de checkout em diferentes máquinas e dispositivos de armazenamento. A funcionalidade de checkout paralelo foi incorporada ao repositório upstream do Git e disponibilizada para todos os usuários da ferramenta na sua versão 2.32.0, que foi lançada em Junho de 2021.
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2022-09-02