O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade.

The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.