Adversarial learning methods for the generation of human interaction data - INRIA 2 Accéder directement au contenu
Thèse Année : 2023

Adversarial learning methods for the generation of human interaction data

Modèles adverses pour la génération de données d'interaction humaine

Louis Airale
  • Fonction : Auteur
  • PersonId : 1392306
  • IdRef : 278876927

Résumé

The objective of this thesis work is to explore new deep generative model architectures for diverse human interaction data generation tasks.The applications for such systems are various: social robotics, animation or entertainment, but always pertain to building more natural interactive systems between humans and machines.Owing to their astonishing performances on a wide range of applications, deep generative models offer an ideal framework to address this task.In return, one can learn how to improve the training of such models by adjusting them to tackle the challenges and constraints posed by human interaction data generation.In this thesis, we consider three generation tasks, corresponding to as many target modalities or conditioning signals.Interactions are first modeled as sequences of discrete, high-level actions simultaneously achieved by a free number of participants.Then, we consider the continuous facial dynamics of a conversing individual and attempt to produce realistic animations from a single reference frame in the facial landmark domain.Finally, we address the task of co-speech talking face generation, where the aim is to correlate the output head and lips motion with an input speech signal.Interestingly, similar deep generative models based on autoregressive adversarial networks provide state-of-the-art results on these otherwise slightly related tasks.% While generative adversarial networks (GAN) improve the performances of maximum likelihood estimation methods, especially for the generation of continuous sequences, autoregressive models allow to produce sequences of arbitrary length.Training such models can however be long or unstable, in particular when the conditioning signal is weak (e.g. when only an initial state is provided).In light of this, we first devise an autoregressive generative adversarial network (GAN) for the generation of discrete interaction sequences, where we introduce a window-based discriminator network that accelerates the training and improves the output quality.We then scale this approach to the generation of continuous facial landmark coordinates, and exploit the inductive bias of autoregressive models for cumulative sums via residual predictions.In this unconditional setting, jointly generating and discriminating pairs of samples proved essential to allow long-term consistency and reduce mode collapse.In the third and last chapter, we introduce a multi-scale loss function and a multi-scale generator network to allow our autoregressive GAN to produce, for the first time, speech-correlated head and lips motion over multiple timescales.Experiments conducted on benchmark datasets featuring multiple interaction data modalities illustrate the efficiency of the proposed methods.
L'objectif de cette thèse est d'explorer de nouvelles architectures de modèles génératifs profonds pour la génération de données d'interaction humaine.Les applications de tels modèles sont multiples, robots sociaux, animation ou encore divertissement, mais ont pour point commun de tendre à rendre plus naturelles les interactions entre l'humain et la machine.De par le réalisme de leurs résultats et leurs nombreuses applications, les modèles génératifs profonds offrent un cadre de travail idéal pour cette tâche.En retour, l’adaptation de ces modèles aux spécificités et aux contraintes liées aux données d’interaction humaine permet d’apprendre comment améliorer leur entraînement.Dans cette thèse sont considérées trois tâches de génération, pour autant de modalités de données ou de méthodes de conditionnement.Premièrement, les interactions sont traitées comme des séquences discrètes d’actions réalisées simultanément par un nombre indéterminé de participants.Puis on modélisera les dynamiques de la tête et des expressions du visage d’une personne en train de dialoguer à partir d’une seule pose initiale.On s’intéressera enfin à la génération des ces mêmes dynamiques à partir d’un signal audio de conditionnement, en veillant à synchroniser les mouvements de la tête et des lèvres avec le signal de parole.De manière remarquable, des modèles génératifs adverses autorégressifs assez proches obtiennent des performances de tout premier ordre sur ces tâches par ailleurs relativement hétérogènes.L’entraînement de ces modèles peut cependant se révéler instable, en particulier lorsque le signal de conditionnement est faible ou absent.La première contribution de cette thèse consiste donc en l’élaboration d’un modèle adverse génératif (GAN) autorégressif pour la génération d’interactions discrètes, assorti d’un discriminateur centré sur de courtes fenêtres temporelles permettant d’accélérer l’entraînement et d’améliorer la qualité des résultats.Cette approche est ensuite étendue à la génération continue de la dynamique du visage, pour laquelle est exploitée la capacité des modèles autorégressifs à représenter des sommes grâce à des connexions résiduelles.Pour cette tâche de génération sans conditionnement, générer et discriminer conjointement des paires d’échantillons s’avère essentiel pour fiabiliser les résultats sur de longues séquences et réduire le "mode collapse" lié aux GAN.Dans un troisième et dernier chapitre est proposée une approche multi-échelle à la fois dans l’objectif et l'architecture d'un modèle adverse autorégressif pour générer, pour la première fois, des mouvements de la tête et des lèvres corrélés avec le signal de parole à de multiples échelles temporelles.Des expériences conduites sur des jeux de données standards et pour différentes modalités d’interaction illustrent l’efficacité des méthodes proposées.
Fichier principal
Vignette du fichier
AIRALE_2023_archivage.pdf (12.63 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04612415 , version 1 (14-06-2024)

Identifiants

  • HAL Id : tel-04612415 , version 1

Citer

Louis Airale. Adversarial learning methods for the generation of human interaction data. Robotics [cs.RO]. Université Grenoble Alpes [2020-..], 2023. English. ⟨NNT : 2023GRALM072⟩. ⟨tel-04612415⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More