Intelligence artificielle

Classification de texte multi-étiquettes avec XLNet

Classification de texte multi-étiquettes avec XLNet


Faisons une récapitulation rapide. Dans un problème de classification multi-classes, il existe plusieurs classes, mais un échantillon de texte donné se voit attribuer une seule classe.

D'autre part, dans un problème de classification de texte multi-étiquettes, un échantillon de texte peut être affecté à plusieurs classes.

Nous utiliserons la bibliothèque Transformers développée par HuggingFace. La bibliothèque Transformers fournit des implémentations faciles à utiliser de nombreux modèles de langage de pointe: BERT, XLNet, GPT-2, RoBERTa, CTRL, etc.

De plus, j'aimerais remercier Kaushal Trivedi, dont l'incroyable tutoriel sur le BERT pour la classification multi-étiquettes a servi de base au code ici.

Nous aborderons le défi de la classification des commentaires sur les substances toxiques de Kaggle, pour lequel nous devons prévoir une probabilité pour chacune des six catégories possibles de toxicité des commentaires pour les commentaires en ligne.

En guise de remarque, il existe une version de base et une version volumineuse de XLNet:

  • Base XLNet: 12 couches, 768 unités cachées, 12 têtes d’attention, paramètres 110M.
  • XLNet Large: 24 couches, 768 unités cachées, 16 têtes d’attention, paramètres 340M

Nous allons former notre modèle sur Google Colab, qui fournit gratuitement un Tesla P100 de 16 Go!

En raison des limites de mémoire GPU de la Tesla P100, nous utiliserons XLNet Base pour notre tâche.

Nous ne formerons pas le modèle à partir de rien, mais nous peaufinerons un modèle pré-formé. Ce concept est appelé apprentissage par transfert.

Sans plus attendre, commençons!

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer