【AI】世界を変えた画像生成AI、さらに進化して正式公開「Stable Diffusion XL（SDXL）」

Stability AIは6月26日、画像生成AIの最新モデル「Stable Diffusion XL」を発表しました（「画像生成AI『Stable Diffusion』最高性能の新モデル『SDXL 0.9』一般的なPCで実行可能」）。パラメーター数がオリジナルのStable Diffusionの9億から23億へと大幅に拡大され、描写力が飛躍的に上昇したモデルです。正式版のSDXL 1.0が7月18日に公開予定とあり、あらためて注目されています。ベータ版にあたるSDXL 0.9は先行して、有料課金サービス「DreamStudio」と、Discordでの公開を開始していました。Discordでは1人無料で1回出力可能で、いまもリアルタイムで生成画像が見える状態です。その後SDXL 0.9は研究用に公開されて、ダウンロード可能になりました。

SDXLがこれまでのStable Diffusionの仕組みと決定的に違うのは、1回の画像生成で2回生成するプロセスを取っていることです。

　プロンプトが画像として生成されるデータセットが「ベース（Base）」と「リファイナー（Refiner)」の2種類に分かれるんですね。なぜこんなやり方をするかというと、2種類のクリップ（画像とテキストとの紐付けのこと）で学習をさせているようなんです。一度、プロンプトを通じてデータセットで生成した画像データを、さらに別のデータセットを使って精度を上げていくという仕組みになっています。

実際に、10日にいち早くSDXLに対応した「ComfyUI」というアプリでSDXL 0.9を動かしてみました。ComfyUIはノードベースのGUIに特徴があり、生成を処理する手順を、割と自由に設計できるところに特徴があります。オープンソースで開発が続けられており、Stable Diffusionを動かす有力なアプリの一つです。

　ComfyUIではどのように作業が進むのかを見ることができるのですが、生成が開始されると入力したプロンプトが、2つのサンプラー（生成機）に送られます。最初のサンプラーがベース（Base）と呼ばれるデータセットを使って、一度画像を生成して出力した後、もう一つのサンプラーから、リファイナー（Refiner）に入れて、画質を引き上げる仕組みになっていることがわかります。画像の基本サイズも512×512ピクセルから1024×1024ピクセルに大きくなりました。

　ただし、そのぶん生成のために要求するスペックが上がっていて、NVIDIA GeForce RTX 20シリーズ以上、ビデオメモリー8GB以上が環境として求められます。

出力できる画像の幅は大幅に広がっていることはすぐに実感できます。たとえば猫とか、ジャングルを進む探検隊、香港の未来の町並み、ブロンズに金の液体をかける……といった思いつく限りの単語を適当に英訳してプロンプトにしてみたのですが、過去のものとは違い、複雑なプロンプトを組まなくても様々な画風が出てきました。特に学習データに偏りがあったと言われるv1.5で出てこなかった東洋人風の顔や、いわゆるアニメ風の二次元の画像もかなり出してくれます。これは相当様々なテクニックが探索されることになるのではないかと思えます。
以下ソース
https://ascii.jp/elem/000/004/145/4145553/

Stable Diffusionほど個人では流行らないだろうな
今の賑わいはNAIの派生・マージで成り立ってるようなものだし

昔の酷い絵のアニメを
リアルタイムで今風の絵柄に治して見れるAIまだあ？

究極の薄い本と
至高の薄い本を出力して！

画像とかいいからさっさと動画で作れよ

タグのない画像を仕分けする技術がまだサイバー空間に存在しない　未整理だと人力でしかできない

よりエロくってことー？

最終目標は現実作品と全く変わらないAV動画の作成だからな。

あと反AI活動してる連中な、潔癖にもほどがあるし
感情的になるあまり醜い本性が透けて見えてるぞ？

オリジナリティ皆無のお前の絵なんて誰にも必要とされてないし
ネガティブプロンプトとしても使われないよ、AIの計算リソースも有限なんだｗ

AIさん、エッチな絵ばかり描かされてるんだろうな

そこらへんのスレ見てみたが、エロへの規制制御が強くてなんかあんまり盛り上がって無い様だぞｗ

AI絵を馬鹿にしてるアホおるけど一般絵師の大半はすでに負けてるのが現実だけどな
そりゃ人間はAIに駆逐されるわ