Workflow ComfyUI
Comment utiliser lora dans comfyui devient simple dès que vous séparez le chargement du modèle de l’application de LoRA. Ce guide montre où placer chaque nœud, comment définir les poids et comment vérifier le résultat avant de modifier votre prompt.
Choisissez votre parcours
Commencez par la situation qui correspond à votre graphe. Le bon parcours dépend de la création d’un nouveau workflow ou de l’ajout de Lora AI à un checkpoint qui fonctionne déjà.
Choisissez votre point de départ
Choisissez la carte qui décrit votre graphe actuel, puis suivez les conseils associés sans reconstruire plus que nécessaire.
Vous disposez d’un fichier de checkpoint, mais pas encore d’un graphe fonctionnel. Commencez par un workflow texte-vers-image de base, puis placez Lora AI entre le chargement du checkpoint et l’échantillonnage.
Vous obtenez une base propre qui permet de déterminer plus facilement si le changement vient de LoRA ou du reste du graphe.
comment utiliser lora ai sur redditVotre prompt et votre checkpoint fonctionnent déjà dans une autre interface, et vous souhaitez reproduire la disposition équivalente des nœuds dans ComfyUI.
Vous pouvez comparer le même modèle, le même prompt et un poids approximativement identique, plutôt que de résoudre plusieurs variables à la fois.
comment utiliser lora dans stable diffusionVous expérimentez avec un adaptateur entraîné pour un personnage, un produit ou un style visuel et vous avez besoin d’une méthode de chargement reproductible.
Vous pouvez garder le checkpoint de base stable tout en testant un fichier Lora AI à la fois et en notant son poids.
guide d’entraînement lora aiUn graphe ComfyUI produit déjà des images, mais l’ajout de LoRA semble ne rien faire ou modifie l’image de manière trop radicale.
Vous pouvez vérifier la compatibilité des fichiers, les connexions des nœuds ainsi que les intensités du modèle et de CLIP dans un ordre contrôlé.
modèles lora aiConstruire le graphe
Voici la séquence fiable en trois étapes pour ajouter un LoRA à un workflow ComfyUI texte vers image fonctionnel.
Utilisez CheckpointLoaderSimple pour charger le modèle de base. Gardez ses sorties MODEL et CLIP visibles, car toutes deux doivent passer par le nœud LoRA avant d’atteindre le reste du graphe.
Ajoutez Load LoRA et connectez le MODEL du checkpoint à son entrée model ainsi que le CLIP du checkpoint à son entrée clip. Sélectionnez le fichier LoRA dans le champ model_name du nœud.
Envoyez la sortie MODEL du nœud LoRA vers l’entrée model de l’échantillonneur et sa sortie CLIP vers les nœuds d’encodage de texte. Conservez le chemin VAE du checkpoint, sauf si votre workflow utilise spécifiquement un autre VAE.
Vérification des connexions
Comparez les deux côtés avant le rendu. Le côté gauche est le graphe de base ; le côté droit est le même graphe avec un adaptateur Lora AI appliqué.
Checkpoint de base uniquement
Checkpoint avec LoRA
Checkpoint de base uniquement
CheckpointLoaderSimple fournit le MODEL de base.
Checkpoint avec LoRA
Le même MODEL entre d’abord dans Load LoRA.
Point de contrôle de base uniquement
Le CLIP du point de contrôle passe directement à l'encodage du texte.
Point de contrôle avec LoRA
Le CLIP du point de contrôle passe par Load LoRA avant l'encodage du texte.
Point de contrôle de base uniquement
Aucun fichier LoRA n'est sélectionné.
Point de contrôle avec LoRA
Un fichier LoRA compatible est sélectionné dans model_name.
Point de contrôle de base uniquement
Aucune force d'adaptateur n'est appliquée.
Point de contrôle avec LoRA
Définissez strength_model délibérément et ne modifiez qu'une variable à la fois.
Point de contrôle de base uniquement
Le conditionnement du texte utilise le CLIP du point de contrôle sans modification.
Point de contrôle avec LoRA
Définissez strength_clip séparément lorsque l'adaptateur le prend en charge ou le nécessite.
Point de contrôle de base uniquement
L'échantillonneur reçoit le MODEL d'origine du point de contrôle.
Point de contrôle avec LoRA
L'échantillonneur reçoit la sortie MODEL de Load LoRA.
Checkpoint de base uniquement
Utile pour confirmer que le checkpoint et le prompt fonctionnent seuls.
Checkpoint plus LoRA
Utile pour vérifier si le LoRA modifie le sujet ou le style souhaité.
Checkpoint de base uniquement
Il n’y a aucune chaîne d’adaptateurs à inspecter.
Checkpoint plus LoRA
Chaînez les nœuds Load LoRA uniquement après avoir vérifié qu’un adaptateur fonctionne seul.
Anatomie d’un nœud
Connaissez les limites
L’adaptateur modifie un modèle de base compatible ; ce n’est pas un modèle d’image complet et il ne peut pas produire un résultat utile sans la famille de checkpoints appropriée.
Solution de contournementChargez d’abord un checkpoint compatible, puis testez l’adaptateur avec un prompt de référence simple.
Si le workflow de base comporte un conditionnement déconnecté, un chemin de sampler invalide ou un VAE manquant, l’ajout d’un adaptateur ne résoudra pas ces problèmes.
Solution de contournementEffectuez le rendu du checkpoint sans LoRA, vérifiez que la base fonctionne, puis insérez uniquement ensuite Load LoRA.
Certains fichiers réagissent à un mot déclencheur, d’autres au prompting descriptif, et certains dépendent fortement des légendes utilisées pour l’entraînement.
Solution de contournementLisez les notes du modèle, essayez le déclencheur recommandé et comparez un prompt court avec un prompt descriptif.
Un fichier conçu pour une architecture ou une famille de checkpoints différente peut se charger incorrectement, avoir peu d’effet ou produire un résultat déformé.
Solution de contournementFaites correspondre l’adaptateur à la famille du modèle et gardez un checkpoint reconnu comme compatible pour les tests.
Comparaison visuelle
La comparaison utile ne consiste pas simplement à déterminer ce qui est plus joli ou moins réussi. Vérifiez si le sujet, les vêtements, la pose, la texture ou le style souhaité changent, tout en conservant une composition et un sens du prompt compréhensibles.
Essayez le workflow
Une fois le graphe ComfyUI connecté, utilisez un prompt ciblé et un seul adaptateur compatible pour établir une base de référence. Vous pouvez ensuite reprendre la même idée dans la génération Lora AI, comparer les résultats et revenir à ComfyUI avec un objectif plus précis.
Essayez Lora AIQuestions fréquentes
Chargez votre checkpoint avec CheckpointLoaderSimple, ajoutez un nœud Load LoRA et connectez les sorties MODEL et CLIP du checkpoint à ce nœud. Connectez ensuite le MODEL adapté au sampler et le CLIP adapté à vos nœuds d’encodage de texte avant de sélectionner le fichier LoRA.
Placez-le après le chargeur de checkpoint et avant le sampler et les encodeurs de texte. Les chemins du modèle et de CLIP doivent tous deux passer par Load LoRA, tandis que la connexion VAE peut généralement rester sur son chemin existant.
Vérifiez que le fichier est enregistré à un emplacement détectable par ComfyUI, que le checkpoint sélectionné appartient à la même famille de modèles et que MODEL et CLIP sont tous deux connectés. Testez également le mot déclencheur recommandé et comparez avec un rendu réalisé sans l’adaptateur.
strength_model contrôle l’intensité avec laquelle l’adaptateur modifie le modèle de débruitage, tandis que strength_clip agit sur la partie liée au conditionnement textuel. Ce sont deux réglages distincts : modifiez-les un par un et notez le réglage qui a produit la différence visible.
Oui, vous pouvez chaîner des nœuds Load LoRA en transmettant le MODEL et le CLIP adaptés d’un nœud au suivant. Commencez d’abord avec un seul adaptateur compatible, car plusieurs fichiers rendent les conflits de poids et l’identification de leur contribution beaucoup plus difficiles.