Disfluencies in conversational spontaneous speech : automatic detection using lexical and acoustic features
Disfluences dans la parole spontanée conversationnelle : détection automatique utilisant des indices lexicaux et acoustiques
Résumé
Spontaneous speech may be characterized by a relatively high rate of disfluencies. Keeping disfluencies in transcriptions may help to better understand the relative progress in dialogue, however their presence may harm a smooth application of various automatic processings. In this contribution, we propose a method to automatic disfluency detection in conversational speech. To this aim, we implemented a CRF (Conditional Random Field) approach to tag our data into disfluent / non-disfluent regions. CRFs are known to perform quite well on this kind of segmentation / labeling tasks. Implemented features include both lexical, morpho-syntactic and acoustic-prosodic information. Contrastive experiments show that the addition of features including information extracted from the speech signal beyond the mere transcription level give the best overall results in automatic disfluency region detection but seem to degrate the results for both region detection and structuration task.
La parole spontanée est caractérisée par la présence de nombreux éléments disfluents qui peuvent s’avérer très informatifs quant au déroulement et à la compréhension du dialogue, tout en étant un obstacle à l’application de certains traitements automatiques. Nous proposons une méthode pour la détection automatique de disfluences dans des données conversationnelles en français. Nous développons et évaluons une méthode d’étiquetage séquentiel à base de CRF, reconnus pour donner de très bons résultats sur des tâches similaires. Notre système s’appuie sur des indices à la fois lexicaux et prosodiques : la combinaison de traits et de patrons construits à partir des transcriptions manuelles et du signal acoustique donne les meilleurs résultats pour de la détection de frontière, mais les indices acoustiques semblent dégrader les résultats pour une tâche conjointe d’identification de frontière et de structuration de la disfluence.