Le réglage fin, une technique utilisée dans l'apprentissage profond dans le domaine de l'intelligence artificielle, est un élément essentiel de la gestion de l'information. intelligence artificielle[1]L'algorithme de réseau neuronal est un algorithme qui se rapporte spécifiquement aux algorithmes d'apprentissage automatique. Elle sert principalement à renforcer l'efficacité des modèles de réseaux neuronaux existants en modifiant et en réaffectant des paramètres spécifiques au sein de ces modèles. Cette méthode est un sous-ensemble de l'apprentissage par transfert, dans lequel les connaissances obtenues à partir d'une tâche sont exploitées pour une autre tâche connexe. Le réglage fin peut être mis en œuvre sur l'ensemble du réseau ou sur un groupe de couches sélectionnées, en incorporant souvent des adaptateurs pour l'amélioration. Il s'avère particulièrement utile dans le traitement du langage naturel pour la modélisation du langage. Néanmoins, il est crucial de reconnaître que le réglage fin peut parfois avoir un impact sur la stabilité d'un modèle, nécessitant des techniques telles que l'interpolation linéaire pour maintenir les performances. Diverses stratégies, telles que la méthode LoRA (Low-rank adaptation), offrent d'autres moyens d'affiner le réglage.
En apprentissage profond, peaufinage est une approche de la l'apprentissage par transfert dans lequel le poids d'un système pré-entraîné modèle sont formés sur de nouvelles données. Un réglage fin peut être effectué sur l'ensemble de la base de données. réseau neuronalsoit sur un sous-ensemble de ses couches, auquel cas les couches qui ne font pas l'objet d'un réglage fin sont "gelées" (elles ne sont pas mises à jour pendant la phase de réglage fin). rétropropagation ). Un modèle peut également être complété par des "adaptateurs" qui comportent beaucoup moins de paramètres que le modèle d'origine, et être affiné d'une manière efficace en ajustant les poids des adaptateurs et en laissant les autres poids du modèle inchangés.
Pour certaines architectures, telles que réseaux neuronaux convolutifsDans la plupart des cas, les premières couches (les plus proches de la couche d'entrée) restent figées car elles capturent des caractéristiques de niveau inférieur, tandis que les couches ultérieures discernent souvent des caractéristiques de haut niveau qui peuvent être davantage liées à la tâche sur laquelle le modèle est entraîné.
Les modèles pré-entraînés sur des corpus larges et généraux sont généralement affinés en réutilisant les paramètres du modèle comme point de départ et en ajoutant une couche spécifique à la tâche, entraînée à partir de zéro. Le réglage fin du modèle complet est également courant et donne souvent de meilleurs résultats, mais il est plus coûteux sur le plan informatique.
Le réglage fin s'effectue généralement à l'aide des éléments suivants apprentissage supervisémais il existe également des techniques permettant d'affiner un modèle à l'aide de l'outil une supervision insuffisante. Le réglage fin peut être combiné avec un l'apprentissage par renforcement à partir du retour d'information humain-Basé sur objectif pour produire des modèles linguistiques tels que ChatGPT (une version affinée de GPT-3) et Moineau.
Français 
English 
Español