ComfyUI-Workflow
Die Verwendung von LoRA in ComfyUI wird unkompliziert, sobald du das Laden des Modells von der Anwendung von LoRA trennst. Dieser Leitfaden zeigt, wo die einzelnen Nodes hingehören, wie du die Gewichte festlegst und wie du das Ergebnis überprüfst, bevor du deinen Prompt änderst.
Wähle deinen Weg
Beginne mit der Situation, die zu deinem Graphen passt. Der richtige Weg hängt davon ab, ob du einen neuen Workflow erstellst oder Lora AI zu einem bereits funktionierenden Checkpoint hinzufügst.
Wähle deinen Ausgangspunkt
Wähle die Karte aus, die deinen aktuellen Graphen beschreibt, und befolge dann die verlinkten Anleitungen, ohne mehr als nötig neu aufzubauen.
Du hast eine Checkpoint-Datei, aber noch keinen funktionierenden Graphen. Beginne mit einem einfachen Text-zu-Bild-Workflow und platziere Lora AI dann zwischen dem Laden des Checkpoints und dem Sampling.
Du erhältst eine saubere Ausgangsbasis, anhand derer du leichter erkennen kannst, ob die LoRA oder der restliche Graph für eine Änderung verantwortlich ist.
LoRA AI auf Reddit verwendenDein Prompt und dein Checkpoint funktionieren bereits in einer anderen Benutzeroberfläche, und du möchtest die entsprechende ComfyUI-Node-Anordnung verwenden.
Du kannst dasselbe Modell, denselben Prompt und ein ungefähr gleiches Gewicht vergleichen, anstatt mehrere Variablen gleichzeitig zu analysieren.
LoRA in Stable Diffusion verwendenDu experimentierst mit einem trainierten Adapter für eine Figur, ein Produkt oder einen visuellen Stil und benötigst ein wiederholbares Lademuster.
Du kannst den Basis-Checkpoint stabil halten, während du jeweils eine Lora AI-Datei testest und ihr Gewicht dokumentierst.
LoRA-AI-TrainingsleitfadenEin ComfyUI-Graph erzeugt bereits Bilder, aber die hinzugefügte LoRA scheint keine Wirkung zu haben oder verändert das Bild zu stark.
Du kannst Dateikompatibilität, Node-Verbindungen sowie die Stärken von Model und CLIP in einer kontrollierten Reihenfolge überprüfen.
KI-LoRA-ModelleDen Graph erstellen
Dies ist die zuverlässige Sequenz aus drei Teilen, um eine LoRA zu einem funktionierenden ComfyUI-Text-zu-Bild-Workflow hinzuzufügen.
Verwende CheckpointLoaderSimple, um das Basismodell zu laden. Lass die MODEL- und CLIP-Ausgänge sichtbar, da beide den LoRA-Node durchlaufen müssen, bevor sie den restlichen Graph erreichen.
Füge Load LoRA hinzu und verbinde den MODEL-Eingang mit dem MODEL-Ausgang des Checkpoints sowie den CLIP-Eingang mit dem CLIP-Ausgang des Checkpoints. Wähle die LoRA-Datei im Feld model_name des Nodes aus.
Leite den MODEL-Ausgang des LoRA-Nodes an den Model-Eingang des Samplers und dessen CLIP-Ausgang an die Textkodierungs-Nodes weiter. Behalte den VAE-Pfad vom Checkpoint bei, sofern dein Workflow nicht ausdrücklich einen anderen VAE verwendet.
Verbindungsprüfung
Vergleiche die beiden Seiten, bevor du renderst. Die linke Seite ist der Basis-Graph; die rechte Seite ist derselbe Graph mit einem angewendeten Lora AI-Adapter.
Nur Basis-Checkpoint
Checkpoint plus LoRA
Nur Basis-Checkpoint
CheckpointLoaderSimple stellt das Basis-MODEL bereit.
Checkpoint plus LoRA
Dasselbe MODEL wird zuerst in Load LoRA eingespeist.
Nur Basis-Checkpoint
Checkpoint-CLIP geht direkt zur Textkodierung.
Checkpoint plus LoRA
Checkpoint-CLIP durchläuft „Load LoRA“ vor der Textkodierung.
Nur Basis-Checkpoint
Keine LoRA-Datei ausgewählt.
Checkpoint plus LoRA
Eine kompatible LoRA-Datei ist in model_name ausgewählt.
Nur Basis-Checkpoint
Keine Adapterstärke wird angewendet.
Checkpoint plus LoRA
strength_model bewusst festlegen und jeweils nur eine Variable ändern.
Nur Basis-Checkpoint
Die Textkonditionierung verwendet den unveränderten Checkpoint-CLIP.
Checkpoint plus LoRA
strength_clip separat festlegen, wenn der Adapter dies unterstützt oder erfordert.
Nur Basis-Checkpoint
Der Sampler erhält das ursprüngliche Checkpoint-MODEL.
Checkpoint plus LoRA
Der Sampler erhält die MODEL-Ausgabe von „Load LoRA“.
Nur Basis-Checkpoint
Nützlich, um zu bestätigen, dass Checkpoint und Prompt allein funktionieren.
Checkpoint plus LoRA
Nützlich, um zu testen, ob die LoRA das gewünschte Motiv oder den gewünschten Stil verändert.
Nur Basis-Checkpoint
Es gibt keine Adapterkette zu prüfen.
Checkpoint plus LoRA
Kette: Lade LoRA-Knoten erst, nachdem ein Adapter für sich allein funktioniert.
Aufbau des Knotens
Kenne die Grenzen
Der Adapter verändert ein kompatibles Basismodell. Er ist kein vollständiges Bildmodell und kann ohne die richtige Checkpoint-Familie kein brauchbares Ergebnis erzeugen.
LösungLade zuerst einen kompatiblen Checkpoint und teste den Adapter anschließend mit einem einfachen Baseline-Prompt.
Wenn der Basis-Workflow nicht verbundene Konditionierung, eine ungültige Sampler-Route oder eine fehlende VAE enthält, werden diese Probleme durch das Hinzufügen eines Adapters nicht behoben.
ProblemumgehungRendere den Checkpoint ohne LoRA, bestätige, dass die Basis funktioniert, und füge erst dann Load LoRA ein.
Einige Dateien reagieren auf ein Triggerwort, andere auf beschreibende Prompts, und bei manchen hängt das Ergebnis stark von den Trainings-Captions ab.
ProblemumgehungLies die Modellhinweise, probiere den empfohlenen Trigger aus und vergleiche einen kurzen Prompt mit einem beschreibenden Prompt.
Eine Datei, die für eine andere Architektur oder Checkpoint-Familie erstellt wurde, wird möglicherweise nur fehlerhaft geladen, hat kaum Wirkung oder erzeugt verzerrte Ausgaben.
ProblemumgehungStimme den Adapter auf die Modellfamilie ab und halte einen bekannten kompatiblen Checkpoint zum Testen bereit.
Visueller Vergleich
Beim aussagekräftigen Vergleich geht es nicht einfach darum, was schöner oder schlechter ist. Prüfe, ob sich das beabsichtigte Motiv, die Kleidung, die Pose, die Textur oder der Stil verändert, während Komposition und Bedeutung des Prompts verständlich bleiben.
Workflow ausprobieren
Sobald der ComfyUI-Graph verbunden ist, verwende einen fokussierten Prompt und einen einzelnen kompatiblen Adapter, um eine Basis festzulegen. Anschließend kannst du dieselbe Idee in die Lora AI-Generierung übertragen, die Ausgaben vergleichen und mit einem klareren Ziel zu ComfyUI zurückkehren.
Lora AI ausprobierenHäufige Fragen
Lade deinen Checkpoint mit CheckpointLoaderSimple, füge einen Load-LoRA-Knoten hinzu und verbinde die MODEL- und CLIP-Ausgänge des Checkpoints mit diesem Knoten. Verbinde anschließend das angepasste MODEL mit dem Sampler und das angepasste CLIP mit deinen Text-Encoding-Knoten, bevor du die LoRA-Datei auswählst.
Platziere ihn nach dem Checkpoint-Loader und vor dem Sampler und den Text-Encodern. Sowohl die MODEL- als auch die CLIP-Verbindungen müssen durch Load LoRA geführt werden, während die VAE-Verbindung normalerweise auf ihrem bestehenden Pfad bleiben kann.
Prüfe, ob die Datei an einem Ort gespeichert ist, den ComfyUI erkennen kann, ob der ausgewählte Checkpoint zur selben Modellfamilie gehört und ob MODEL und CLIP verbunden sind. Teste außerdem das empfohlene Trigger-Wort und vergleiche das Ergebnis mit einem Render ohne den Adapter.
strength_model steuert, wie stark der Adapter das Denoising-Modell verändert, während strength_clip die Seite der Textkonditionierung beeinflusst. Es handelt sich um separate Regler. Ändere daher jeweils nur einen und notiere, welche Einstellung den sichtbaren Unterschied hervorgerufen hat.
Ja, du kannst Load-LoRA-Knoten verketten, indem du das angepasste MODEL und CLIP von einem Knoten an den nächsten weitergibst. Beginne zunächst mit einem kompatiblen Adapter, da mehrere Dateien Gewichtskonflikte und die Zuordnung der Ursache deutlich schwieriger zu diagnostizieren machen.