Representations for Shape and Motion in 4D Acquisition
Représentations des formes et du mouvement pour l'acquisition 4D
Résumé
Acquiring and representing 3D shapes in motion from one or multiple views, coined 4D modeling, has been a topic of interest to computer vision and computer graphics for several decades, for 3D content production, virtual reality, telepresence and human motion analysis applications. In this time frame, the topic has gone from theoretical research subject to partial industrialisation, including nowadays many acquisition studios from major world companies, and a successful Inria startup with 15 years of activity. To achieve this, a set of hard problems had to be addressed, with advances in what can be classified as three subfields of shape acquisition and representation, motion retrieval and modeling, and appearance and texture estimation. This document
summarizes my journey and contributions toward these goals with the students I was privileged to work with, with a particular focus on PhDs defended in the last five years. First I will discuss our work with multi-view stereo and monocular shape estimation.
Second, I will present how weak but general priors on surface or volumetric rigidity, and using the a priori of an underlying human shape space, can be leveraged for surface tracking and alignment of human subjects in tight or loose clothing. Third, I will discuss the space-time statistical and representational models of appearance we proposed to estimate and store color map information of acquired subjects.
Acquérir et représenter des formes 3D en mouvement à partir d’une ou plusieurs vues, aussi appellé modélisation 4D, a été un sujet d’intérêt pour la vision par ordinateur et l’infographie depuis plusieurs décennies, pour la production de contenu 3D, les applications liées à la réalité virtuelle, la téléprésence et à l’analyse du mouvement humain. Dans ce laps de temps, le sujet est passé de la recherche théorique à une industrialisation partielle, avec de nos jours de nombreux studios d’acquisition dans les entreprises majeures du domaine de l’informatique, et une startup Inria avec actuellement à son actif 15 ans d’activité. Pour atteindre ce palier majeur, un ensemble de problèmes difficiles a dû être résolu, avec des progrès dans ce qui peut être classé en trois champs d’investigations, l’acquisition et la représentation de forme, la modélisation et l’estimation de mouvement, et l’estimation de l’apparence et de la texture. Ce document résume mon parcours et mes contributions dans le sens ces objectifs avec le étudiants avec lesquels j’ai eu le privilège de travailler, avec un accent particulier sur les thèses soutenues ces cinq dernières années. J’aborderai tout d’abord notre travail avec la stéréo multi-vues et l’estimation monoculaire de forme monoculaire 3D. Deuxièmement, je présenterai l’apport d’a prioris faibles mais très généraux sur la rigidité des surfaces ou en volume, et l’utilisation d’a priori d’un espace des formes humaines, et comment les mettre à profit pour le suivi de surface et l’alignement de sujets humains en vêtements amples comme serrés. Troisièmement, je discuterai des modèles statistiques spatio-temporelles et des représentation d’apparence que nous avons proposés pour estimer et stocker des cartes de couleur pour les sujets acquis.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|