Du corpus vidéo à l'agent expressif: Utilisation des différents niveaux de représentation multimodale et émotionnelle - Laboratoire Interdisciplinaire des Sciences du Numérique Accéder directement au contenu
Article Dans Une Revue Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle Année : 2006

Du corpus vidéo à l'agent expressif: Utilisation des différents niveaux de représentation multimodale et émotionnelle

Résumé

Relations between emotions and multimodal behaviors have mostly been studied inthe case of acted basic emotions. In this paper, we describe two experiments studying theserelations with a copy-synthesis approach. We start from video clips of TV interviewsincluding real-life behaviors. A protocol and a coding scheme have been defined forannotating these clips at several levels (context, emotion, multimodality). The firstexperiment enabled to manually identify the levels of representation required for replayingthe annotated behaviors by an expressive agent. The second experiment involved automaticextraction of information from the multimodal annotations. Such an approach enables tostudy the complex relations between emotion and multimodal behaviors.
Les relations entre émotions et indices multimodaux ont été peu étudiées dans lecadre d’émotions autres que les émotions de base jouées par des acteurs. Dans cet articlenous présentons deux expériences permettant d’étudier ces relations par une démarched’analyse-synthèse. Nous partons d’interviews télévisées montrant des comportementsémotionnels naturels. Un protocole et un schéma de codage ont été définis pour les annoter àplusieurs niveaux (contexte, émotion, multimodalité). La première expérience manuelle apermis d’identifier les niveaux de représentation qui interviennent pour faire rejouer cescomportements par un agent expressif. La deuxième expérience fait intervenir une extractionautomatique à partir des annotations multimodales. Une telle démarche permet d’apporterdes connaissances sur les relations complexes entre émotions et multimodalité.
Fichier principal
Vignette du fichier
Du_corpus_video_a_l_agent_expressif.pdf (461.71 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03580926 , version 1 (28-02-2022)

Identifiants

Citer

Jean-Claude Martin, Sarkis Abrilian, Laurence Devillers, Myriam Lamolle, Maurizio Mancini, et al.. Du corpus vidéo à l'agent expressif: Utilisation des différents niveaux de représentation multimodale et émotionnelle. Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, 2006, 20 (4-5), pp.477-498. ⟨10.3166/ria.20.477-498⟩. ⟨hal-03580926⟩
23 Consultations
129 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More