GPT-3 | Sociamonials Blog

GPT-3

TOUS 0-9 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Le modèle linguistique innovant GPT-3, développé par OpenAI, est le troisième volet de la série GPT et se distingue par son échelle sans précédent, ce qui en fait le plus grand modèle linguistique non épars actuellement disponible. Il surpasse son prédécesseur, GPT-2^[1]et le NLG Turing de Microsoft, le GPT-3 a une capacité dix fois supérieure à ce dernier. Il est réputé pour sa capacité à générer du texte, y compris des articles de presse, et à faciliter les tâches de codage, bien qu'il présente également des risques d'utilisation abusive, comme la propagation de fausses informations ou l'hameçonnage. Le GPT-3 se décline en plusieurs versions pour répondre à différents besoins, davinci, qui possède 175 milliards de paramètres, étant la plus grande. La série GPT-3.5 qui a suivi a introduit de nouveaux modèles et de nouvelles capacités. Le GPT-3 joue un rôle essentiel dans l'industrie et la recherche, en soutenant des produits tels que GitHub^[2] Copilot et trouve des applications dans plusieurs produits Microsoft. Cependant, il soulève également des questions d'ordre éthique et académique.

Définitions des termes

1. ↑ GPT-2 ( GPT-2 ) Generative Pretrained Transformer 2, ou GPT-2, est un modèle d'IA avancé spécialement conçu pour les tâches de traitement du langage naturel. Ce modèle, lancé par l'OpenAI en février 2019, est réputé pour sa polyvalence dans la génération d'un large éventail de types de textes, ses prouesses s'étendant à la réponse à des requêtes et à la complétion automatique de codes. L'entraînement de GPT-2 a fait appel à un vaste corpus de textes en ligne, WebText, et il fonctionne sur un nombre stupéfiant de 1,5 milliard de paramètres. Malgré sa nature gourmande en ressources, GPT-2 a été utilisé dans des applications diverses et innovantes telles que des jeux d'aventure centrés sur le texte et des simulations de subreddit. Les craintes initiales d'utilisation abusive ont conduit à la publication du modèle GPT-2 complet en novembre 2019, où les inquiétudes ne se sont pas manifestées. Cependant, pour faire face aux contraintes de ressources, un modèle plus petit, DistilGPT2, a été développé. Les innovations et les succès de GPT-2 ont ouvert la voie aux progrès futurs en matière de génération de textes par l'IA.

2. ↑ GitHub ( GitHub ) Principalement conçu pour les développeurs, GitHub est une plateforme qui facilite la création, le stockage, la gestion et le partage de code. Construite sur le logiciel Git, elle offre des fonctionnalités telles que le contrôle de version, le contrôle d'accès et le suivi des bogues. Depuis qu'il est devenu une filiale de Microsoft en 2018, GitHub s'est imposé comme un hébergeur de premier plan pour les projets de logiciels libres. En janvier 2023, il s'enorgueillit d'une communauté dynamique de plus de 100 millions de développeurs et abrite plus de 420 millions de dépôts. GitHub a été conçu en 2008 par ses quatre fondateurs et a d'abord fonctionné comme une organisation plate, favorisant l'autonomie, la flexibilité et la collaboration entre ses membres. Outre le contrôle de version, GitHub propose également des services tels que la gestion des tâches, l'intégration continue et la prise en charge des wikis de projet. Plus qu'une simple plateforme, il s'agit d'une suite complète d'outils pour le développement de logiciels.

GPT-3 (Wikipedia)

Transformateur génératif pré-entraîné 3 (GPT-3) est un grand modèle linguistique publié par OpenAI en 2020. Comme son prédécesseur, GPT-2Il s'agit d'un décodeur uniquement modèle de transformateur de réseau neuronal profond, qui remplace les architectures basées sur la récurrence et la convolution par une technique connue sous le nom de " réseau neuronal profond ".attention". Ce mécanisme d'attention permet au modèle de se concentrer sélectivement sur les segments du texte d'entrée qu'il prédit comme étant les plus pertinents. Il utilise un modèle 2048-jetons-long contexte^[jargon]une précision float16 (16 bits), et un nombre sans précédent de 175 milliards d'euros. paramètresIl a démontré qu'il était possible d'obtenir des résultats très satisfaisants dans le cadre de l'application de la directive sur la protection des données, qui nécessite 350 Go d'espace de stockage, chaque paramètre occupant 2 octets d'espace.zéro-coup de feu" et "peu de coups"Les capacités d'apprentissage pour de nombreuses tâches.

Transformateur génératif pré-entraîné 3 (GPT-3)
Auteur(s) original(aux)	OpenAI
Version initiale	11 juin 2020 (bêta)
Référentiel	github.com/openai/gpt-3
Prédécesseur	GPT-2
Successeur	GPT-3.5 GPT-4
Type	Grand modèle linguistique Transformateur génératif pré-entraîné Modèle de fondation
Site web	openai.com/blog/openai-api

Le 22 septembre 2020, Microsoft a annoncé qu'elle avait acquis une licence exclusive pour le GPT-3. D'autres peuvent encore recevoir des données de son API publique, mais seul Microsoft a accès au modèle sous-jacent.