ComfyUIを初めて使う方
チェックポイントファイルはあるものの、まだ動作するグラフがありません。基本的なテキストから画像へのワークフローから始め、チェックポイントの読み込みとサンプリングの間にLora AIを配置します。
変更の原因がLoRAなのか、グラフの他の部分なのかを判断しやすい、明確なベースラインを作成できます。
LoRA AIの使い方 RedditComfyUIワークフロー
推測に頼らずComfyUIでLoRAを使う方法
ComfyUIでLoRAを使う方法は、モデルの読み込みとLoRAの適用を分けて考えると簡単になります。このガイドでは、各ノードを配置する場所、重みの設定方法、プロンプトを変更する前に結果を確認する方法を説明します。
進む方法を選ぶ
自分のグラフに当てはまる状況から始めましょう。新しいワークフローを構築するのか、すでに動作しているチェックポイントにLora AIを追加するのかによって、適切な進め方は異なります。
開始地点を選ぶ
パスA
現在のグラフを説明しているカードを選び、必要以上に再構築せず、リンク先のガイダンスに従って適用してください。
Stable Diffusionユーザー
別のインターフェースではプロンプトとチェックポイントがすでに機能しており、それに相当するComfyUIのノード構成が必要です。
複数の変数を同時にトラブルシューティングするのではなく、同じモデル、プロンプト、おおよその重みを比較できます。
Stable DiffusionでLoRAを使う方法カスタムモデルビルダー
キャラクター、製品、またはビジュアルスタイル向けに学習したアダプターを試しており、再現性のある読み込みパターンが必要です。
ベースのチェックポイントを安定させたまま、Lora AIファイルを1つずつテストし、その重みを記録できます。
LoRAトレーニングガイド既存のワークフローエディター
ComfyUIのグラフですでに画像は生成できていますが、追加したLoRAが何も作用しない、または画像を大きく変えすぎます。
ファイルの互換性、ノード接続、モデルとCLIPの強度を、管理された順序で確認できます。
AI LoRAモデルグラフを構築する
パスB
これは、動作中のComfyUIテキストから画像へのワークフローにLoRAを追加するための、信頼性の高い3段階の手順です。
-
1
チェックポイントを読み込む
CheckpointLoaderSimpleを使用してベースモデルを読み込みます。MODELとCLIPの出力は表示したままにしてください。どちらもグラフの他の部分に到達する前にLoRAノードを通す必要があります。
-
2
Load LoRAを挿入する
Load LoRAを追加し、チェックポイントのMODELをそのmodel入力に、チェックポイントのCLIPをそのclip入力に接続します。ノードのmodel_nameフィールドからLoRAファイルを選択します。
-
3
再接続してサンプリングする
LoRAノードのMODEL出力をサンプラーのmodel入力に、CLIP出力をテキストエンコーディングノードに送ります。ワークフローで別のVAEを明示的に使用している場合を除き、チェックポイントからのVAE経路はそのままにします。
接続を確認する
最終確認
レンダリングする前に、左右2つを比較します。左側はベースグラフ、右側は1つのLora AIアダプターを適用した同じグラフです。
ベースチェックポイントのみ
チェックポイント＋LoRA
1
モデルのソース
ベースチェックポイントのみ
CheckpointLoaderSimpleがベースMODELを供給します。
チェックポイント＋LoRA
同じMODELが最初にLoad LoRAに入力されます。
2
CLIPの経路
ベースチェックポイントのみ
チェックポイントのCLIPはテキストエンコーディングに直接渡されます。
チェックポイント＋LoRA
チェックポイントのCLIPは、テキストエンコーディングの前にLoad LoRAを通ります。
3
アダプターファイル
ベースチェックポイントのみ
LoRAファイルが選択されていません。
チェックポイント＋LoRA
model_nameで互換性のあるLoRAファイルが1つ選択されています。
4
モデルの強度
ベースチェックポイントのみ
アダプターの強度は適用されません。
チェックポイント＋LoRA
strength_modelを意図的に設定し、一度に1つの変数だけを変更します。
5
CLIPの強度
ベースチェックポイントのみ
テキストコンディショニングでは、チェックポイントのCLIPが変更されずに使用されます。
チェックポイント＋LoRA
アダプターが対応している、または必要としている場合は、strength_clipを個別に設定します。
6
サンプラー入力
ベースチェックポイントのみ
サンプラーは元のチェックポイントのMODELを受け取ります。
チェックポイント＋LoRA
サンプラーはLoad LoRAから出力されたMODELを受け取ります。
7
デバッグ用ベースライン
ベースチェックポイントのみ
チェックポイントとプロンプトだけで機能することを確認するのに役立ちます。
チェックポイント＋LoRA
LoRAによって意図した被写体やスタイルが変化するかをテストするのに役立ちます。
8
複数のアダプター
ベースチェックポイントのみ
確認するアダプターチェーンはありません。
チェックポイント＋LoRA
チェーン単独のアダプターが機能してから、Load LoRAノードを追加します。
ノードの構造
- 1 Load LoRAは、チェックポイントの経路からMODELとCLIPを受け取ります
- 2 入力
- 2 ノードはグラフ用に適用済みのMODELとCLIPを返します
- 2 出力
- 3 ModelとCLIPの影響は個別に調整できます
- 2 強度
- 4 目に見える変化の原因を明確にするため、まずは1つのLoRAから始めます
- 1 アダプター
限界を把握する
-
LoRAはチェックポイントの代わりにはなりません
アダプターは互換性のあるベースモデルを変更するものであり、完全な画像モデルではありません。適切なチェックポイントファミリーがなければ、有用な結果を生成できません。
回避策まず互換性のあるチェックポイントを読み込み、シンプルなベースラインプロンプトでアダプターをテストします。
-
LoRAは壊れたグラフを修復できません
ベースワークフローのコンディショニングが切断されていたり、サンプラーの経路が無効だったり、VAEが不足していたりする場合、アダプターを追加してもそれらの問題は修復されません。
回避策LoRAなしでチェックポイントをレンダリングし、ベースラインが機能することを確認してから、Load LoRAを挿入します。
-
LoRAは同じトリガー動作を保証できません
トリガーワードに反応するファイルもあれば、説明的なプロンプトに反応するファイルもあり、学習時のキャプションに大きく依存するファイルもあります。
回避策モデルのメモを読み、推奨されているトリガーを試し、短いプロンプト1つと説明的なプロンプト1つを比較します。
-
LoRAは互換性のない形式を無視できません
異なるアーキテクチャやチェックポイントファミリー向けに作成されたファイルは、正しく読み込めなかったり、効果がほとんどなかったり、出力が歪んだりする場合があります。
回避策アダプターをモデルファミリーに合わせ、テスト用に互換性が確認されたチェックポイントを用意しておきます。
ビジュアル比較
- 適用前：ベースグラフ
- 適用後：アダプター適用済み
有用な比較とは、単にきれいか悪いかを比べることではありません。構図とプロンプトの意味が理解できる状態を保ちながら、意図した被写体、服装、ポーズ、テクスチャ、スタイルが変化しているかを確認します。
ワークフローを試す
Lora AIのアイデアを形にする
ComfyUIのグラフを接続したら、焦点を絞ったプロンプトと互換性のあるアダプター1つを使って、ベースラインを確立します。その後、同じアイデアをLora AIの生成に活用し、出力を比較して、より明確な目標を持ってComfyUIに戻ることができます。
Lora AIを試す- まずはアダプター1つから始める
- プロンプトの焦点を絞る
- 重みを変更する前に比較する
よくある質問
チュートリアルFAQ
CheckpointLoaderSimpleでチェックポイントを読み込み、Load LoRAノードを追加して、チェックポイントのMODEL出力とCLIP出力をそのノードに接続します。次に、適用後のMODELをサンプラーに、適用後のCLIPをテキストエンコードノードに接続してから、LoRAファイルを選択します。
チェックポイントローダーの後、サンプラーとテキストエンコーダーの前に配置します。MODELとCLIPの両方の経路をLoad LoRAに通す必要がありますが、VAEの接続は通常、既存の経路のままで構いません。
ファイルがComfyUIで検出できる場所に保存されていること、選択したチェックポイントが同じモデルファミリーに属していること、MODELとCLIPの両方が接続されていることを確認してください。また、推奨されているトリガーワードを試し、アダプターなしで生成した画像と比較してください。
strength_modelはアダプターがデノイズモデルを変更する強さを調整し、strength_clipはテキストコンディショニング側に与える影響を調整します。これらは別々の設定なので、一度に1つだけ変更し、どの設定で目に見える違いが生じたかを記録してください。
はい。Load LoRAノードを連結し、1つのノードから出力された適用済みのMODELとCLIPを次のノードに渡すことができます。まずは互換性のあるアダプターを1つだけ使ってください。複数のファイルを使うと、重みの競合や原因の特定がはるかに難しくなります。