La fonctionnalité img2img est largement développée dans Fooocus. Nous allons voir ici les différentes possibilités de l'outil Image Prompt.
Avant de travailler une image, il faut pouvoir récupérer ses métadonnées depuis l'historique. Dans le répertoire /outputs/YYY-MM-DD, ouvrez le fichier log.html qui contient toutes les générations d'images de la journée. Chaque image est détaillée avec son procédé de génération.
Cliquez sur le bouton [Copy To Clipboard]. Collez le résultat dans la zone de prompt, cliquez sur le bouton [Generate] pour relancer la génération. Vous obtiendez alors de nouveau exactement l'image d'origine.
Pour activer le mode Img2Img, cochez la case [Input Image] sous la zone de prompt. Un nouvel espace de saisie apparaît, avec plusieurs onglets représentant les différentes fonctionnalités.
Dans le premier onglet [Upscale or Variation], suivez les étapes suivantes :
Voici des modifications sur l'image de nouvel an. Notez des variations sur le chapeau, les pattes, le fond bleu, le texte, avec une image générale très reconnaissable.
Vous pouvez aussi jouer sur le texte du prompt pour modifier plus profondément l'image. Ici, en ajoutant "Snow and stars" au prompt, on obtient cet ensemble d'images, toujours fidéles à l'originale, mais avec de la neige et des étoiles :
L'Upscaling consiste à augmenter la résolution d'une image.
Il a déjà été détaillé dans le tuto précédent Upscaling d'images en local
La fonction Outpaint sert à dessiner en dehors de l'image. Elle est donc utilisée pour étendre les bords d'une image de manière cohérente.
Comme pour le traitement de variation, générez une image, déplacez-la dans la zone de saisie. Choisissez les côtés à élargir et cliquez sur [Generate]. Ici, je choisis d'élargir sur les quatre côtés un guerrier phacochère :
Le rendu est tout à fait naturel :
La fonction Inpaint sert à dessiner à l'intérieur de l'image, uniquement sur une zone surlignée. Elle permet de modifier une partie de l'image de manière cohérente, sans affecter le reste de l'image.
Pour changer la couleur des cheveux d'une personne sur une image:
Les cheveux passent ici du blond au bleu avec un diadème comme demandé dans le complément de prompt :
La fonction Inpaint sert aussi à améliorer une partie d'une image, souvent le visage ou les mains que l'IA a du mal à générer correctement au premier passage.
Pour améliorer un visage, placer l'image dans la zone, surlignez la zone à travailler, choisissez [Improve Detail], entrez un éventuel prompt additionnel :
Cette fonctionnalité Image Prompt de génération mélange des images sources et des textes prompt. Nous allons voir deux exemples pour en mesurer toute la puissance.
Voici un premier exemple d'utilisation de la fonctionnalité. Une image de dragon sur un paysage. Il suffit d'indiquer "A lion" dans le prompt pour remplacer le dragon par un lion dans le même style
Et voici une série de résultats, avec la lune, le temple et la mise en scène :
Lors de la première exécution de la description d'image, Fooocus doit télécharger un modèle dédié. Cela peut prendre un peu de temps. Regardez dans le terminal d'exécution pour obtenir l'état d'avancement.
Le second exemple prend en entrée 2 photos. Une photo de plage et la photo d'un homme dans la savane au milieu de quelques phacochères.
Le résultat est une série d'images avec le même homme en bord d'une plage de même composition :
Les possibilités de cet onglet Image Prompt sont encore bien plus étendues. Un tuto dédié est en préparation, avec en particulier la technique du Faceswap.
La description d'image est plutôt une fonction de type img2txt mais elle peut être utile pour qualifier des images destinées à l'apprentissage de modèles.
Dans le dernier onglet [Describe], sélectionnez une image à décrire et cliquez sur le bouton [Describe this image]. La description apparaît dans la zone de prompt au dessus :
Lors de la première exécution de la description d'image, Fooocus doit télécharger un modèle dédié. Une fois le modèle disponible en local, l'analyse d'image demande d'une fraction de secondes à quelques secondes (selon les capacités de la carte graphique).
Avec Fooocus, et tous les autres outils de génération d'images, les compétences du créateur ne sont plus les mêmes. L'habileté avec un crayon ou une souris a été remplacée par une maîtrise des termes techniques liés à l'IA. La créativité est toujours indispensable pour imaginer des scènes et les textes de prompt nécessaires.
Et il reste toujours un gros travail à la fois en génération initiale et en post traitement pour arriver au résultat attendu. A ce jour l'IA générative d'image a encore besoin de l'humain et ne peut pas générer un résultat satisfaisant dès le premier essai.
En savoir plus
