Stable diffusionでLoRAを使って驚いた

プロンプトをコネコネしても生成できない画像を簡単に生成してくれる「LoRA」を使ってみました(そして、驚いた!)のでログを残しておきます。

chilloutmix_NiPrunedFp32Fix + lora:akiraMotorbikeBATE_v02plus

 

目次

 

LoRAとは

ChatGPTさん曰く、

LoRAは、深層学習に基づく画像生成AIの一種で、畳み込みニューラルネットワークと呼ばれるアルゴリズムを使用して、画像を生成します。

通常、畳み込みニューラルネットワークは、入力された画像を小さな部分に分割して、それらの部分の情報を組み合わせて特徴量を抽出し、最終的に新しい画像を生成することができます。しかし、この方法は画像の詳細な情報を失う可能性があるため、生成された画像がリアルなものとして見えないことがあります。

LoRAは、この問題に対処するため、分割された画像の部分に、周囲の部分との関係性を考慮することができる「再帰型畳み込みニューラルネットワーク」というアルゴリズムを取り入れています。これにより、画像の詳細な情報をより正確に把握し、よりリアルな画像を生成することができます。

つまり、LoRAは、よりリアルな画像生成を可能にする、高度な深層学習技術の一つであると言えます。

 

ん~、何のことかわかりませんね (^^;

中学生レベルで答えてもらいました。

LoRAは、多くの絵を見て勉強をして、自分で新しい絵を描くことができるようになる

 

つまり、モデル(checkpoint)に無い(又は、不十分な)アニメのキャラクターであったり、人物、クルマなどの「特定の多くの絵(画像)」のみを学習させて新しい絵を描くことができるようにしたものが「LoRA」という解釈かなぁと考えてます。

ざっくり過ぎですかね (^^;

 

そのため、LoRAには「特定の絵」の学習データしか含まれていませんので、anythingなどのモデルに比べてファイルサイズが非常に小さいく数百MB程度しかありません。そして、様々なモデルと組み合わせることができるという特徴もあります。

 

導入

LoRAファイルをダウンロード

CIVITAIサイトでのダウンロート例を説明します。

civitai.com

CIVITAIサイトにアクセスし、"LoRA"で検索すると一覧が表示されます。

 

バイク好きの私としては、「AKIRA」の「金田バイク」をチョイスしました。

civitai.com

 

LoRAファイルは、右側の「Download」をクリックするとダウンロードされます。

 

ダウンロードした”akiraMotorbikeBATE_v02plus.safetensors”ファイルを下記フォルダに移動させて作業終了です。

stable-diffusion-webui\models\Lora

 

準備

LoRAを使用するには2点ポイントがあります。

  1. 花札アイコンをクリックし、使用するLoRAを選択する
  2. プロンプトに"Trigger Words"を書く

 

1. 花札アイコンをクリックし、使用するLoRAを選択

注意)LoRAを選択するとプロンプトに"<lora:akiraMotorbikeBATE_v02plus:1>"が追加されます。これを消すとLoRAが無効になります。

言い換えると、この手順を踏まなくてもプロンプトに"<lora:akiraMotorbikeBATE_v02plus:1>"と書けばLoRAは有効になります。

2. プロンプトに"Trigger Words"を書く

"Trigger Words"は、ダウンロードサイトの「Details」の部分に記載されています。

ちなみに、今回使用しているLoRAの場合は、"AKIRABIKE"です。

 

プロンプトに"AKIRABIKE,"を書く。

 

画像生成

一番シンプルなプロンプト

プロンプト

AKIRABIKE, <lora:akiraMotorbikeBATE_v02plus:1>,

ネガティブプロンプト

easynegative

デフォルトの512x512だと全体像が表示されませんでしたので、800x512にサイズを変更しています。

何回か生成していると、おおっ、金田バイクが生成されました!!

プロンプトをコネコネしても作画できないデザインですね~

けど、もう少しクオリティが欲しい。。。

anything-v4.0, Sampler: Euler a, Seed: 4079068548, Size: 800x512
Chilloutmixモデル+クオリティUPプロンプト

プロンプト

AKIRABIKE, <lora:akiraMotorbikeBATE_v02plus:1>,

vibrant details, hyperrealistic, beautiful background, octane render, 8k, best quality, masterpiece, illustration, an extremely delicate and beautiful, extremely detailed ,CG ,wallpaper, realistic, photo-realistic,Amazing, finely detail, best quality,

ネガティブプロンプト

easynegative

実写系モデル+画質UPプロンプトでここまでリアルになりました!

chilloutmix_NiPrunedFp32Fix, DPM++ 2M Karras, Seed: 1589021419, Size: 800x512

なお、ChilloutMixの導入については下記備忘ログを参照してください。

hastaluegoblog.hatenablog.com

 

LoRAのダウンロードページにあるサンプルのプロンプトを参考にしながら、リアリティを出してみました。

 

プロンプト

closed - up, masterpiece, best quality, (full_body:1.3),best quality, (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), ultra-detailed,1girl,perfect detail , (wearing a black racing outfit), (riding a orange akirabike In the ruins of a cyberpunk city after a thermonuclear war, broken neon signs hanging from buildings, neon signs)), (round scifi metal breastplate shining coldly), long legs, lots of exposed broken cables, Colorful glare and smoke, 1.5mm, smail face、illustration of a beautiful girl, detailed beautiful face, detailed hair, detailed human eyes, detailed mouth, detailed arms, detailed bust, looking far away, shot diagonally, artstation, deviantart, concept art, digital painting, award-winning, cinematic postprocessing, cinematic scene, cinematic composition, cinematic lighting, overexpose, ray tracing, 8K, <lora:akiraMotorbikeBATE_v02plus:0.7>, <lora:japaneseDollLikeness_v10:0.1>

 

ネガティブプロンプト

paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), dot, mole, lowres, normal quality, monochrome, grayscale, lowres, text, error, cropped, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, out of frame, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, username, watermark, signature, (mole:1.4),nsFW, bad face

 

その他

Steps: 21,

Sampler: DPM++ SDE Karras,

CFG scale: 7,

Seed: 3084128988,

Size: 680x512,

Model: chilloutmix_NiPrunedFp32Fix,

Denoising strength: 0.7,

Hires upscale: 2,

Hires upscaler: Latent

 

リアリティがあり、世界観もマッチしてますね (^^

chilloutmix_NiPrunedFp32Fix + lora:akiraMotorbikeBATE_v02plus

あとがき

LoRAを利用することで作画の幅がグッと広がりました。とはいえ、版権などの問題はありますので商用利用するには難があるかと思います。

しかし、頭の中のイメージを画像にすることでさらなる発想が生まれ、オリジナルの作画につながるのも事実です。先人たちのLoRAを活用させて頂き、更なる進化につなげましょう。

 

おまけ

うる星やつら」のラムちゃんのLoRAを使って作画しました。

最近リメイク版が放送されてましたね~ 人気は衰えてないです。

civitai.com

うる星やつら ラムちゃん(二次創作)

うる星やつら ラムちゃん(二次創作)

うる星やつら ラムちゃん(二次創作)

うる星やつら ラムちゃん(二次創作)