2022/8に初めてStable Diffusionに触れて衝撃を受けたのがきっかけで画像生成AIに興味を持ちました。
2023/3にまだ当時は珍しかったAIアイドルの生成に挑戦したブログは一時期、Google検索で１位となり話題に。
2023/11/25に日本人モデルの最新版であるnagatsuki_mix (v2.0)が公開されたというニュースを知り、実際に試してみたところ、生成画像のディティールの細かさに驚きました。動作環境やコードも含めてメモしておきます。
長月(v2.0)
色々なシチュエーションで長月さんを試してみました。自然な表情はもちろん、服装やアクセサリー、背景等も含めて、かなりの精度の高さでイメージ通りの画像が簡単に生成できました。
カジュアル
セーターの質感など。
着物
まだなんちゃって感はあるものの、当初は苦手だった着物らしい画像も出るようになってきました。
パーティードレス
アクセサリーやドレスの刺繍等のディティールの細かさに驚きました。
キャンプ
雰囲気は伝わってきますが、まだ焚き火の正しいやり方が分かっていないようです。
帆船と海
帆船をバックに海っぽい雰囲気。
雪山
スキーウェアやゴーグル等も雰囲気が出ています。
ロボット風
サイボーグのような質感がリアル。
ハリー・ポッター風
ハーマイオニーのような雰囲気。
ゼルダ風
エルフ的な耳やアクセサリー等、細部に亘ってゼルダ姫っぽい雰囲気が出ています。
ゴッホ風
ゴッホの絵から飛び出してきたような。
バロック風
17～18世紀のヨーロッパの絵画に出てきそうな雰囲気。装飾品やドレスの質感などのディティールの細かさに驚きました。
画像生成の環境
V100 GPU
今までは無料のGoogle Colaboratory環境で生成していましたが、長月モデルをインストールまでできたものの、いざ画像生成しようとするとエラーで動きませんでした。
VRAM不足など、システム資源の制約かもしれないと思い、今回初めて有料のPay As You Goで最小単位の100コンピューティングユニットを購入してみました。1,179円で90日間有効とのこと。2023/11現在、無料でも使えるT4 GPUは1.96ユニット／時間、もう１つ上位のV100 GPUは5.36ユニット／時間です。
今回はV100を選択したところ、Nagatsukiモデルで問題なく画像生成ができました。合計で約18時間超は使える計算ですので、十分です。今まで無料で使っていたT4と比べると処理性能も数倍高く、最高品質（60ステップ）を選択しても30秒ほどで1152ｘ896ピクセルの画像を生成できます。
自分のPCを使ったローカル環境で画像生成AIを動かそうとすると最低でも10万円以上するグラフィックボードを購入する必要がありますが、技術革新による陳腐化も早いため、クラウド環境を活用するのが手軽でお勧めです。
Fooocusの起動コード
Google ColabolatoryでStable DiffusionのUIであるFooocusを起動するためのコードは以下のとおり。自分のGoogle Drive上にダウンロードしておいたLoraモデルをColab環境へコピーしています。また、Nagatsukiモデルはサイズが巨大(6.46GB)なため、huggingface上で公開されているモデルをColab環境にコピーした上でFooocusを起動しています。
#GPUに変更してから起動
#自分のGoogle Driveをマウント(Colabが自分のGoogle Driveのファイルにアクセスできるようにする)
#実行して少し待つとGoogleアカウントの認証画面に飛ぶので、アカウントを選択したのちに下にスクロールして許可をクリック
from google.colab import drive
drive.mount('/content/drive')
!pip install pygit2==1.12.2
%cd /content
!git clone https://github.com/lllyasviel/Fooocus.git
%cd /content/Fooocus
#Googleドライブ上のLoraモデルをColabへ複製 trigger words are jpn-girl woman
!cp /content/drive/MyDrive/StableDiffusion/model/japanese_girl_v1.1.safetensors /content/Fooocus/models/loras/
!cp /content/drive/MyDrive/StableDiffusion/model/ayame_LoRA_v20.safetensors /content/Fooocus/models/loras/
!apt -y install -qq aria2
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/Kotajiro/nagatsuki_mix/resolve/main/nagatsuki_mix_v20c.fp16.safetensors -d /content/Fooocus/models/checkpoints -o nagatsuki_mix_v20c.fp16.safetensors
%cd /content/Fooocus
!python entry_with_update.py --share
