Ci-dessous se trouve une instruction qui décrit une tâche. Écrivez une réponse qui complète de manière appropriée la demande.

### Instruction :
 Énumérez trois types de modèles pré-entraînés pour le traitement du langage naturel.

### Réponse :

Trois types de modèles pré-formés pour le traitement du langage naturel sont BERT, GPT-2 et Transformer-XL.<|endoftext|>