Word2vec
En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de .

Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim.

Architectures 

Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram. Le CBOW vise à prédire un mot étant donné son contexte, c'est-à-dire étant donné les mots qui en sont proches dans le texte. Un tel contexte est par exemple les 5 mots à droite et les 5 mots à gauche du mot à prédire. Le skip-gram a une architecture symétrique visant à prédire les mots du contexte étant donné un mot en entrée.

En pratique, le modèle CBOW est plus rapide à apprendre, mais le modèle skip-gram donne généralement de meilleurs résultats.

Dans les deux cas, le réseau de neurones comporte deux couches. La couche cachée contient quelques centaines de neurones et constitue, à l'issue de la représentation, le plongement lexical (embedding) permettant de représenter un mot. La couche de sortie permet d'implémenter une tâche de classification au moyen d'une softmax.

L'apprentissage ne nécessite néanmoins aucun label, la vérité terrain étant directement déduite des données et plus particulièrement de la proximité des mots au sein du corpus d'entraînement. En ce sens, l'apprentissage de Word2vec constitue un apprentissage auto-supervisé.

Notes et références

Bibliographie

Voir aussi 
 BERT (traitement automatique du langage)
 Stanford Question Answering Dataset

Réseau de neurones artificiels
En intelligence artificielle et en apprentissage machine , Word2vec est un groupe de modèles utilisé pour le plongement lexical ( ) . Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de \ . Ce sont de les réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique de les mots . La méthode est implémentée dans la bibliothèque Python Gensim . Architectures Deux architectures ont été initialement proposées pour apprendre les Word2vec , le modèle de sacs de mots continus ( CBOW : continuous bag of words ) et le modèle skip-gram . Le CBOW vise à prédire un mot étant donné son contexte , c'est-à-dire étant donné les mots qui en sont proches dans le texte . Un tel contexte est par exemple lesmots à droite et lesmots à gauche de le mot à prédire . Le skip-gram a une architecture symétrique visant à prédire les mots de le contexte étant donné un mot en entrée . En pratique , le modèle CBOW est plus rapide à apprendre , mais le modèle skip-gram donne généralement de meilleurs résultats . Dans les deux cas , le réseau de neurones comporte deux couches . La couche cachée contient quelques centaines de neurones et constitue , à l' issue de la représentation , le plongement lexical ( embedding ) permettant de représenter un mot . La couche de sortie permet d' implémenter une tâche de classification à le moyen d' une softmax . L' apprentissage ne nécessite néanmoins aucun label , la vérité terrain étant directement déduite de les données et plus particulièrement de la proximité de les mots à le sein de le corpus d' entraînement . En ce sens , l' apprentissage de Word2vec constitue un apprentissage auto-supervisé . Notes et références Bibliographie Voir aussi BERT ( traitement automatique de le langage ) Stanford Question Answering Dataset Réseau de neurones artificiels