fluxo de trabalho do ComfyUI
Como usar lora no comfyui fica simples quando você separa o carregamento do modelo da aplicação do LoRA. Este guia mostra onde cada nó deve ficar, como definir os pesos e como verificar o resultado antes de alterar seu prompt.
Escolha seu caminho
Comece pela situação que corresponde ao seu gráfico. O caminho certo depende de você estar criando um novo fluxo de trabalho ou adicionando Lora AI a um checkpoint que já funciona.
Escolha seu ponto de partida
Escolha o cartão que descreve seu gráfico atual e siga as orientações vinculadas sem reconstruir mais do que o necessário.
Você tem um arquivo de checkpoint, mas ainda não tem um gráfico funcional. Comece com um fluxo básico de texto para imagem e, em seguida, coloque Lora AI entre o carregamento do checkpoint e a amostragem.
Você obtém uma linha de base limpa, o que facilita identificar se a mudança é causada pelo LoRA ou pelo restante do gráfico.
como usar lora ai no redditSeu prompt e checkpoint já funcionam em outra interface, e você quer a disposição equivalente dos nós no ComfyUI.
Você pode comparar o mesmo modelo, prompt e peso aproximado em vez de solucionar vários problemas ao mesmo tempo.
como usar lora no stable diffusionVocê está experimentando um adaptador treinado para um personagem, produto ou estilo visual e precisa de um padrão de carregamento reproduzível.
Você pode manter o checkpoint base estável enquanto testa um arquivo Lora AI por vez e registra seu peso.
guia de treinamento lora aiUm gráfico do ComfyUI já produz imagens, mas o LoRA adicionado parece não fazer nada ou altera a imagem de forma agressiva demais.
Você pode verificar a compatibilidade do arquivo, as conexões dos nós e as intensidades do modelo e do CLIP em uma ordem controlada.
modelos lora aiConstrua o gráfico
Esta é a sequência confiável de três partes para adicionar um LoRA a um fluxo de trabalho de texto para imagem funcional no ComfyUI.
Use o CheckpointLoaderSimple para carregar o modelo base. Mantenha as saídas MODEL e CLIP visíveis, pois ambas precisam passar pelo nó LoRA antes de chegar ao restante do gráfico.
Adicione o Load LoRA e conecte o MODEL do checkpoint à entrada model e o CLIP do checkpoint à entrada clip. Selecione o arquivo LoRA no campo model_name do nó.
Envie a saída MODEL do nó LoRA para a entrada model do sampler e a saída CLIP para os nós de codificação de texto. Mantenha o caminho VAE vindo do checkpoint, a menos que seu fluxo de trabalho use especificamente outro VAE.
Verificação da conexão
Compare os dois lados antes de renderizar. O lado esquerdo é o gráfico base; o lado direito é o mesmo gráfico com um adaptador Lora AI aplicado.
Apenas o checkpoint base
Checkpoint com LoRA
Apenas o checkpoint base
O CheckpointLoaderSimple fornece o MODEL base.
Checkpoint com LoRA
O mesmo MODEL entra primeiro no Load LoRA.
Apenas o checkpoint base
O CLIP do checkpoint vai diretamente para a codificação de texto.
Checkpoint mais LoRA
O CLIP do checkpoint passa por Load LoRA antes da codificação de texto.
Apenas o checkpoint base
Nenhum arquivo LoRA está selecionado.
Checkpoint mais LoRA
Um arquivo LoRA compatível está selecionado em model_name.
Apenas o checkpoint base
Nenhuma intensidade do adaptador é aplicada.
Checkpoint mais LoRA
Defina strength_model deliberadamente e altere uma variável por vez.
Apenas o checkpoint base
O condicionamento de texto usa o CLIP do checkpoint sem alterações.
Checkpoint mais LoRA
Defina strength_clip separadamente quando o adaptador for compatível ou exigir isso.
Apenas o checkpoint base
O sampler recebe o MODEL original do checkpoint.
Checkpoint mais LoRA
O sampler recebe a saída MODEL de Load LoRA.
Apenas checkpoint base
Útil para confirmar que o checkpoint e o prompt funcionam sozinhos.
Checkpoint mais LoRA
Útil para testar se a LoRA altera o assunto ou o estilo pretendido.
Apenas checkpoint base
Não há uma cadeia de adaptadores para inspecionar.
Checkpoint mais LoRA
Encadeie nós Load LoRA somente depois que um adaptador funcionar por conta própria.
Anatomia do nó
Conheça os limites
O adaptador modifica um modelo base compatível; ele não é um modelo de imagem completo e não pode produzir um resultado útil sem a família de checkpoints adequada.
Solução alternativaCarregue primeiro um checkpoint compatível e, em seguida, teste o adaptador em um prompt de referência simples.
Se o fluxo de trabalho base tiver condicionamento desconectado, uma rota de sampler inválida ou um VAE ausente, adicionar um adaptador não corrigirá esses problemas.
Solução alternativaRenderize o checkpoint sem LoRA, confirme que a linha de base funciona e só então insira Load LoRA.
Alguns arquivos respondem a uma palavra de gatilho, alguns respondem a prompts descritivos e alguns dependem muito das legendas usadas no treinamento.
Solução alternativaLeia as notas do modelo, experimente o gatilho recomendado e compare um prompt curto com um prompt descritivo.
Um arquivo criado para uma arquitetura ou família de checkpoints diferente pode carregar incorretamente, ter pouco efeito ou produzir uma saída distorcida.
Solução alternativaCombine o adaptador com a família do modelo e mantenha um checkpoint sabidamente compatível para testes.
Comparação visual
A comparação útil não é simplesmente entre algo mais bonito e algo pior. Verifique se o assunto, a roupa, a pose, a textura ou o estilo pretendido mudam, enquanto a composição e o significado do prompt continuam compreensíveis.
Experimente o fluxo de trabalho
Depois que o grafo do ComfyUI estiver conectado, use um prompt focado e um único adaptador compatível para estabelecer uma linha de base. Em seguida, você pode levar a mesma ideia para a geração do Lora AI, comparar os resultados e voltar ao ComfyUI com um objetivo mais claro.
Experimente o Lora AIPerguntas comuns
Carregue seu checkpoint com CheckpointLoaderSimple, adicione um nó Load LoRA e conecte as saídas MODEL e CLIP do checkpoint a esse nó. Em seguida, conecte o MODEL adaptado ao sampler e o CLIP adaptado aos nós de codificação de texto antes de selecionar o arquivo LoRA.
Coloque-o depois do carregador de checkpoint e antes do sampler e dos codificadores de texto. Tanto os caminhos MODEL quanto CLIP precisam passar pelo Load LoRA, enquanto a conexão VAE geralmente pode permanecer na rota existente.
Verifique se o arquivo está armazenado em um local que o ComfyUI consiga detectar, se o checkpoint selecionado pertence à mesma família de modelos e se MODEL e CLIP estão conectados. Teste também a palavra de ativação recomendada e compare com uma renderização feita sem o adaptador.
strength_model controla o quanto o adaptador altera o modelo de denoising, enquanto strength_clip afeta o lado do condicionamento de texto. São controles separados; portanto, altere um de cada vez e anote qual configuração produziu a diferença visível.
Sim, você pode encadear nós Load LoRA, passando o MODEL e o CLIP adaptados de um nó para o próximo. Comece primeiro com um adaptador compatível, pois vários arquivos tornam os conflitos de pesos e a identificação da causa muito mais difíceis de diagnosticar.