時をかけるイラストを生成できるPaints-Undoを使ってみた
イラスト作成過程をタイムラプス撮影したかのような動画が生成可能な「Paints-Undo」を使ってみましたので備忘ログに残します。
目次
インストール前に
動画を使用するため「FFmpeg」をインストールする必要があります。
「FFmpeg」のインストール手順は下記備忘ログを参照してください。
インストール手順
「Paints-Undo」は下記GitHubのものを使用します。github.com
インストールした環境は、Windows11、Python3.10です。
次に手順を説明します。
① コマンドプロンプトを開き、適当なフォルダで下記コマンドを実行。
※この例では、"D:\work"フォルダを使用しています。
D:\work> git clone https://github.com/lllyasviel/Paints-UNDO.git
② クローンしたフォルダに移動。
D:\work>cd Paints-UNDO
③ オリジナル環境を汚したくないので、VENVを使って仮想環境を構築します。
※この例では、仮想環境の名前は"venv"としましたが、なんでもOKです。
D:\work\Paints-UNDO>python -m venv venv
④ 仮想環境をアクティベート（実行）。
D:\work\Paints-UNDO>venv\Scripts\activate
仮想環境が立ち上がると、コマンドラインの先頭に(venv)が付きます。
(venv) D:\work\Paints-UNDO>
⑤ PyTorchをインストールします。
(venv) D:\work\Paints-UNDO>pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
⑥ Triton（Python3.10用）をインストールします。
(venv) D:\work\Paints-UNDO>pip install https://huggingface.co/madbuda/triton-windows-builds/resolve/main/triton-2.1.0-cp310-cp310-win_amd64.whl
※私の環境の場合、Paints-Undo起動時に下記エラーが発生して動きませんでしたのでインストールしました。
import triton # noqa
^^^^^^^^^^^^^
ModuleNotFoundError: No module named 'triton'
⑦ xformersをインストールします。
(venv) D:\work\Paints-UNDO>pip install xformers
⑧ 最後にrequirements.txtに記載されているライブラリ群をインストールします。
(venv) D:\work\Paints-UNDO>pip install -r requirements.txt
以上でインストール作業は終了です。お疲れさまでした (^^)/
Paints-Undoを使う
起動
下記コマンドでPaints-Undoを起動します。
なお、初回起動のみ、各種データをダウンロードするようで結構時間がかかります。
(venv) D:\work\Paints-UNDO>python gradio_app.py
コマンドプロンプトの最後に下記内容が表示されたら起動OKです。
注）コマンドプロンプトは閉じないように！
Running on local URL: http://0.0.0.0:7860
To create a public link, set `share=True` in `launch()`.
Webブラウザを起動して下記URLにアクセスするとGUIが表示されます。
とりあえず使ってみる
動画を生成するまでの流れはGUIにも記載されていますが、下記３ステップです。
- Step 1: Upload Image and Generate Prompt （画面上部）
- Step 2: Generate key Frames （画面中央部）
- Step 3: Generate All Videos （画面下部）
Step 1: Upload Image and Generate Prompt
自分で画像をアップロードするか、Examplesのサンプル画像をクリックしてください。
アップロードすると画像が表示されますので、右側の「Genarate Prompt」ボタンをクリックします。
画像解析した後、Stable Diffusionなどをお使いの方には見慣れたプロンプトが「Output Prompt」に表示されます。
Step 2: Generate key Frames
アップロードした画像サイズは512x512なので、「Image Height」をデフォルトの600から512に変更します。※忘れやすいです (^^;
そして、「Generate Key Farmes」ボタンのクリックすると８枚の画像が表示されます。
Pains-Undoは、白紙から1000回書き換えた流れを生成しています。
そのため、１枚目がオリジナル、８枚目が白紙、2～7枚目は「Operation Steps」で指定した回数の画像となっています。
ちなみに、処理時間はRTX3060(12G)で36秒でした。
Step 3: Generate All Videos
最後のステップは「動画生成」です。「Genarate Video」ボタンをクリックすると処理が始まります。
ちなみに、RTX3060(12G)で750秒、RTX4090は160秒(やっぱり速い！)でした。
動画はこんな感じです。
あとがき
今回はデフォルト設定のみの確認でしたが、プロンプトやパラメータを変更すると自然な逆再生動画になりそうな雰囲気ですね。
Paints-Undoを「何に使うか？」という疑問は残りますが、絵を学ぶ際はラフな絵から徐々に描き込んでいく過程などが参考になるのではと感じました。
AIの進化恐るべしです (^^;
