Méthode sémantique
Cette méthode fait partie des méthodes relevant du deep learning et fait appel à un modèle de langage.
Elle repose sur l’architecture BERT (Bidirectional Encoder Representations from Transformers).
Bert est un modèle de deep learning pré-entraîné, capable de résoudre plusieurs problématiques de Traitement de Langage Naturel.
Une particularité du modèle BERT par rapport aux modèles antérieurs qui étaient unidirectionnels (ils analysaient la séquence d’entrée de gauche à droite ou éventuellement de droite à gauche) est d’être bidirectionnel.
Comme son nom l’indique donc, ce modèle appréhende le texte dans son entièreté, ce qui lui permet une efficacité accrue par rapport à une approche univoque ou ponctuelle.
Par ailleurs BERT est basé sur le concept de mécanisme d’attention. Cela signifie que le réseau agit de façon sélective de manière à se concentrer sur quelques éléments pertinents, tout en ignorant les autres. BERT comprend deux mécanismes distincts - un encodeur qui lit l’entrée de texte et un décodeur qui produit une prédiction pour la tâche. Dans notre application, seul le mécanisme d’encodeur est nécessaire, suivi d’une étape de classification. A une séquence de mots en entrée de taille H, est associée une séquence de vecteurs de taille H, dans laquelle chaque vecteur correspond à un élément d’entrée avec le même index et bénéficie d’un apprentissage sur un ensemble de texte conséquent de sorte que les vecteurs traduisent une ressemblance sémantique entre éléments. Ici on a utilisé le pré-entraînement de CamembertForSequenceClassification .