Generative Pretrained Transformer 2, ou GPT-2, est un modèle d'IA avancé spécialement conçu pour les tâches de traitement du langage naturel. Ce modèle, lancé par l'OpenAI en février 2019, est réputé pour sa polyvalence dans la génération d'un large éventail de types de textes, ses prouesses s'étendant à la réponse à des requêtes et à la complétion automatique de codes. L'entraînement de GPT-2 a fait appel à un vaste corpus de textes en ligne, WebText, et il fonctionne sur un nombre stupéfiant de 1,5 milliard de paramètres. Malgré sa nature gourmande en ressources, GPT-2 a été utilisé dans des applications diverses et innovantes telles que des jeux d'aventure centrés sur le texte et des simulations de subreddit. Les craintes initiales d'utilisation abusive ont conduit à la publication du modèle GPT-2 complet en novembre 2019, où les inquiétudes ne se sont pas manifestées. Cependant, pour faire face aux contraintes de ressources, un modèle plus petit, DistilGPT2, a été développé. Les innovations et les succès de GPT-2 ont ouvert la voie aux progrès futurs en matière de génération de textes par l'IA.
Transformateur génératif pré-entraîné 2 (GPT-2) est un grand modèle linguistique par OpenAI et le deuxième de leur série fondamentale de GPT modèles. GPT-2 a été pré-entraîné sur un ensemble de données de 8 millions de pages web. Il a été partiellement publié en février 2019, suivi par la publication complète du modèle de 1,5 milliard de paramètres le 5 novembre 2019.
 L'achèvement de la GPT-2 à l'aide de l'option Visage étreint Site web Write With Transformer, avec le texte de cet article (tout le texte surligné après l'invite initiale est généré par la machine à partir de la première proposition, sans autre modification). | |
| Auteur(s) original(aux) | OpenAI |
|---|---|
| Version initiale | 14 février 2019 |
| Référentiel | https://github.com/openai/gpt-2 |
| Prédécesseur | GPT-1 |
| Successeur | GPT-3 |
| Type | |
| Licence | MIT |
| Site web | openai |
GPT-2 a été créé en tant que "mise à l'échelle directe" de GPT-1 avec une multiplication par dix du nombre de ses paramètres et de la taille de son ensemble de données d'apprentissage. Il s'agit d'un apprenant polyvalent et sa capacité à effectuer les différentes tâches était une conséquence de sa capacité générale à prédire avec précision l'élément suivant d'une séquence, ce qui lui a permis de traduire textes, répondre aux questions sur un sujet à partir d'un texte, résumer des passages d'un texte plus large, et générer une sortie texte sur un pied d'égalité parfois indiscernable de celle des humainsIl peut cependant devenir répétitif ou absurde lorsqu'il s'agit de générer de longs passages. Il a été remplacé par les modèles GPT-3 et GPT-4, qui ne sont plus open source.
La GPT-2 possède, comme son prédécesseur la GPT-1 et ses successeurs la GPT-3 et la GPT-4, une transformateur génératif pré-entraîné l'architecture, la mise en œuvre d'une réseau neuronal profond, en particulier un transformateur qui utilise le modèle attention au lieu des anciennes architectures basées sur la récurrence et la convolution. Les mécanismes d'attention permettent au modèle de se concentrer sélectivement sur les segments du texte d'entrée qu'il prédit comme étant les plus pertinents. Ce modèle permet d'augmenter considérablement la parallélisationet surpasse les critères de référence précédents pour les modèles basés sur les RNN/CNN/LSTM.
Français 
English 
Español