Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux

Matthieu Labeau (1) , Alexandre Allauzen (2)

1 LTCI - Laboratoire Traitement et Communication de l'Information
2 LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur

Here the title in English. Noise Contrastive Estimation (NCE) and Importance Sampling (IS) are sampling based algorithms traditionally used to avoid computing the costly output softmax when training neural language models with Maximum Likelihood Estimation (MLE). In this work, we attempt to summarize how these procedures work, and how they have been used in the computational linguistics literature. We then compare them, and experiment with tricks that ease NCE training.

L'estimation contrastive bruitée (NCE) et l'échantillonage par importance (IS) sont des procédures d'entraînement basées sur l'échantillonage, que l'on utilise habituellement à la place de l'estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l'on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l'entraînement du NCE.

Keywords: Neural Language Model; Noise Contrastive Estimation; Negative Sampling

Keywords: Modèle de langue; Estimation contrastive bruitée; Negative Sampling.

Domains: Computer Science [cs]; Statistics [stat]

Matthieu Labeau, Alexandre Allauzen. Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux. 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN), May 2018, Rennes, France. ⟨hal-02912471⟩