【質問】clip skipってなんなんだよ！！！【stable diffusion】
34: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 6378-ZkZz)
2023/05/14(日) 05:54:36.39 ID:jEyEOJps0
webUIアップデートしたら、同じシード値、完全に同じプロンプトなのに、絵作りがメチャクチャ劣化してるから、おいおい勘弁してくれよと思ったら
Clip skipのデフォルト値が、以前は2だったのが、1になってたからだった。
たまたま以前のデフォ値をメモしてたから良かったようなものの、こういう絵作りがめっちゃ変わる値のデフォ値を変えるのは止めて欲しいわ
Clip skipのデフォルト値が、以前は2だったのが、1になってたからだった。
たまたま以前のデフォ値をメモしてたから良かったようなものの、こういう絵作りがめっちゃ変わる値のデフォ値を変えるのは止めて欲しいわ
引用元：https://mevius.5ch.net/test/read.cgi/cg/1682857488/
35: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 6f23-sx1H)
2023/05/14(日) 06:01:52.26 ID:OMltvE7q0
Clip skipの値は慣れてる人なら普通は常に値を把握してるだろうけど始めたばかりの人には厳しい話か・・・
36: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 6378-ZkZz)
2023/05/14(日) 06:37:22.39 ID:jEyEOJps0
>>35
慣れてない人だとデフォ値がいくつかも把握してないだろうから完全にアウト
clipskipの値はセッティングタブ開いて見に行かないと確認出来ないから気付きにくい。
数日前の前のバージョンは上に変更するスライダーが表示されてたようにおもったがまた無くなってんだよな
あとLoRAとかもこの値が2である前提で作られた物がけっこう多いから
変えない人は全然変えないと思う
慣れてない人だとデフォ値がいくつかも把握してないだろうから完全にアウト
clipskipの値はセッティングタブ開いて見に行かないと確認出来ないから気付きにくい。
数日前の前のバージョンは上に変更するスライダーが表示されてたようにおもったがまた無くなってんだよな
あとLoRAとかもこの値が2である前提で作られた物がけっこう多いから
変えない人は全然変えないと思う
46: 名無しさん＠お腹いっぱい。 (ｱｰｸｾｰ Sx87-oKnu)
2023/05/14(日) 13:47:36.29 ID:x0MxXxPNx
>>36
デフォ値は１だよ
自分で２にしたの忘れてる
デフォ値は１だよ
自分で２にしたの忘れてる
49: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 1356-sx1H)
2023/05/14(日) 14:07:33.45 ID:1U+P/UPK0
>>36
そのスライダーは元々そこにはないし
色々と勘違いがひどいぞ
そのスライダーは元々そこにはないし
色々と勘違いがひどいぞ
38: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ a39f-+/XS)
2023/05/14(日) 09:50:42.45 ID:nT9goggY0
clipskipって具体的に何の設定値なのかよく理解できてないんだよな
モデルとかLoraの推奨値に合わせないとひどいことになるのは知ってるんだけど
解析の各層で何の特徴を見てるかが経験則的に分かってきたから二次元系だと1層飛ばすのがいいって感じなのか？
モデルとかLoraの推奨値に合わせないとひどいことになるのは知ってるんだけど
解析の各層で何の特徴を見てるかが経験則的に分かってきたから二次元系だと1層飛ばすのがいいって感じなのか？
41: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 6378-ZkZz)
2023/05/14(日) 10:32:16.67 ID:jEyEOJps0
>>38
理論的な事は読んでもリポジトリの説明みてもさっぱり分からなかったが
経験的には数値を上げた方がプロンプトの効きが良くなる
だけど絵が破綻したり、画質が悪化する事もある、諸刃の剣って感じ
プロンプト数の上限枠一杯近くになってしまった場合、プロンプト数を減らして効果を上げるために
破綻しないギリギリまで上げて使うのはあり
理論的な事は読んでもリポジトリの説明みてもさっぱり分からなかったが
経験的には数値を上げた方がプロンプトの効きが良くなる
だけど絵が破綻したり、画質が悪化する事もある、諸刃の剣って感じ
プロンプト数の上限枠一杯近くになってしまった場合、プロンプト数を減らして効果を上げるために
破綻しないギリギリまで上げて使うのはあり
50: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ a39f-+/XS)
2023/05/14(日) 15:46:37.29 ID:nT9goggY0
>>41
>>45
なるほど
clip3以上推奨は見たことないけど、勘所が分かれば何か応用できるタイミングはありそう
なるほど
clip3以上推奨は見たことないけど、勘所が分かれば何か応用できるタイミングはありそう
45: 名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 93f2-132K)
2023/05/14(日) 13:17:45.87 ID:lpJuL0lz0
>>38
質問スレのテンプレより
—–
【CLIP設定ってどうしたらいい？】
イラスト系モデルならCLIP2、リアル系はCLIP1とCLIP2の両方を試してみる
【そもそもCLIPって何？】
ざっくり簡単に言うと、プロンプトから受け取ったテキスト情報を層ごとに処理して画像を生成するという、Stablediffusionが採用してる処理方式のこと
CLIP1設定なら『最後から1番目の層まで処理（※ようは最終層まで処理）してから画像生成』という設定であり、SD1.x系モデルはそれが標準設定となっていた
その後、StableDiffusionをベースにしているNovelAIというお絵描きAIサービスが『最後から2番目の層で処理を止めて（※ようは最終CLIPを省略）画像を生成』という特殊な追加学習方法を実施
これは最終層で処理されるノイズなどの情報を省略することで、イラスト絵の再現度を上げるためであり、この方式で学習したモデルの場合はCLIP2設定ののほうがプロンプトの反映が正確になるとのこと
そしてご存知の通りNovelAIが作ったモデルはネットに流出して各モデルへと派生、よってNovelAIを源流とするイラスト系モデルは基本的にはCLIP2設定が推奨となっている
実写系モデルは暫くは公式準拠でCLIP1を推奨していたが、最近の実写系モデルにもNovelAIが混ざっていることもあり、推奨設定が1か2かはモデルごとに違うとしか言えない
またCLIPskipは結果的にプロンプト処理の一部を省略するため、モデルによってはCLIP2設定よりもCLIP1設定のほうがプロンプトの効き自体が良くなることもある
ちなみに現在StableDiffusion公式モデル最新版であるv2.1はCLIP2が標準設定になっている
もちろんだがどのモデルもCLIP設定は自由に変更でき、また１か２でないと出せない絵柄というのもあるので、両方試しつつ好みの絵柄を探ってみるのが良い
と思われる
ただ、CLIPを飛ばし続けるとどんどんプロンプトを無視していくので、仕様的にも２までにしておくのが無難である
質問スレのテンプレより
—–
【CLIP設定ってどうしたらいい？】
イラスト系モデルならCLIP2、リアル系はCLIP1とCLIP2の両方を試してみる
【そもそもCLIPって何？】
ざっくり簡単に言うと、プロンプトから受け取ったテキスト情報を層ごとに処理して画像を生成するという、Stablediffusionが採用してる処理方式のこと
CLIP1設定なら『最後から1番目の層まで処理（※ようは最終層まで処理）してから画像生成』という設定であり、SD1.x系モデルはそれが標準設定となっていた
その後、StableDiffusionをベースにしているNovelAIというお絵描きAIサービスが『最後から2番目の層で処理を止めて（※ようは最終CLIPを省略）画像を生成』という特殊な追加学習方法を実施
これは最終層で処理されるノイズなどの情報を省略することで、イラスト絵の再現度を上げるためであり、この方式で学習したモデルの場合はCLIP2設定ののほうがプロンプトの反映が正確になるとのこと
そしてご存知の通りNovelAIが作ったモデルはネットに流出して各モデルへと派生、よってNovelAIを源流とするイラスト系モデルは基本的にはCLIP2設定が推奨となっている
実写系モデルは暫くは公式準拠でCLIP1を推奨していたが、最近の実写系モデルにもNovelAIが混ざっていることもあり、推奨設定が1か2かはモデルごとに違うとしか言えない
またCLIPskipは結果的にプロンプト処理の一部を省略するため、モデルによってはCLIP2設定よりもCLIP1設定のほうがプロンプトの効き自体が良くなることもある
ちなみに現在StableDiffusion公式モデル最新版であるv2.1はCLIP2が標準設定になっている
もちろんだがどのモデルもCLIP設定は自由に変更でき、また１か２でないと出せない絵柄というのもあるので、両方試しつつ好みの絵柄を探ってみるのが良い
と思われる
ただ、CLIPを飛ばし続けるとどんどんプロンプトを無視していくので、仕様的にも２までにしておくのが無難である
