Dans les domaines de la vision par ordinateur, de la génération d'images et du traitement du langage naturel, les modèles de diffusion sont des outils fondamentaux. Ils sont utilisés pour des fonctions telles que le débruitage d'images, l'inpainting, la super-résolution et la génération de texte, avec la possibilité de s'entraîner à la suppression du bruit gaussien dans les images floues. Des exemples notables de ces modèles comprennent les modèles probabilistes de diffusion de débruitage et les réseaux de scores conditionnés par le bruit. En thermodynamique hors équilibre, ces modèles jouent un rôle essentiel dans l'échantillonnage de distributions de probabilités complexes. Ils sont ensuite optimisés grâce à des méthodologies avancées telles que les modèles variationnels. déduction[1] et la descente de gradient stochastique. Dans le traitement du langage naturel, les modèles de diffusion jouent un rôle essentiel dans la génération et le résumé de textes, en maîtrisant la structure cachée des données textuelles pour produire un texte adapté au contexte. Des entités de recherche renommées comme OpenAI et Google[2] Imagen a mis au point divers modèles de diffusion pour des tâches liées à la génération d'images et de textes.
En apprentissage automatique, modèles de diffusionégalement connu sous le nom de modèles probabilistes de diffusion ou modèles génératifs basés sur le scoresont une classe de variable latente génératif modèles. Un modèle de diffusion se compose de trois éléments principaux : le processus avant, le processus arrière et la procédure d'échantillonnage. L'objectif des modèles de diffusion est d'apprendre un processus de diffusion qui génère une distribution de probabilité pour un ensemble de données donné, à partir de laquelle nous pouvons ensuite échantillonner de nouvelles images. Ils apprennent la structure latente d'un ensemble de données en modélisant la manière dont les points de données se diffusent à travers leur espace latent.
Dans le cas de vision par ordinateurLes modèles de diffusion peuvent être appliqués à toute une série de tâches, notamment débruitage d'images, peinture, super-résolutionet génération d'images. Il s'agit généralement de former un réseau neuronal pour qu'il puisse séquentiellement débruiter images brouillées par Bruit gaussien. Le modèle est entraîné pour inverser le processus d'ajout de bruit à une image. Après avoir été entraîné jusqu'à convergence, il peut être utilisé pour la génération d'images en commençant par une image composée d'un bruit aléatoire que le réseau dénature de manière itérative. Annoncé le 13 avril 2022, OpenAIModèle texte-image DALL-E 2 est un exemple qui utilise des modèles de diffusion à la fois pour le modèle préalable (qui produit un encastrement d'image à partir d'une légende textuelle) et pour le décodeur qui génère l'image finale. Les modèles de diffusion ont récemment trouvé des applications dans le traitement du langage naturel (NLP), en particulier dans des domaines tels que la génération de texte et le résumé.
Les modèles de diffusion sont généralement formulés comme suit chaînes de Markov et formés à l'aide de l'inférence variationnelle. Des exemples de cadres génériques de modélisation de la diffusion utilisés en vision par ordinateur sont les modèles probabilistes de débruitage de la diffusion, les réseaux de scores conditionnés par le bruit et les équations différentielles stochastiques.
Français 
English 
Español