【AI】LoRAの差分抽出法が確立ｗｗｗｗｗｗｗｗ
586: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7e-Phjm)
2023/05/14(日) 01:33:48.30 ID:anti31iv0
えー、LoRAの差分抽出法が確立されました
コピー機学習法は画像-Aを学習したLoRA-Aを元モデルにマージしてモデルＡを作り、それをベースに画像-Bで学習するという方法でした
が、コレって画像-Aを学習したLoRA-Aと画像-Bを学習したLoRA-Bからsvdマージで差分を取れば同じこと出来るんじゃね？
と思って検証のために学習を回していたら、どうやらkohyaさんも同じ発想に至っていたらしく、同様に検証で学習回してたようです
そしてkohyaさん側でも、私の方でも検証結果として、差分抽出で問題なくLoRA作成可能だということが分かりました
ということで、差分抽出法で作ったしいたけ目
コピー機学習法で作ったLoRAとは、出力に対する影響のしかたも異なるので、一概にはどちらの方が良いとは言えませんが
この手法により、コピー機モデルを作る手間を省くことが出来そうです、あとモデルによる容量圧迫を抑えられますね
あ、ちなみにkohyaさんの方では、光る眼鏡LoRAなるものを作っているそうです、明日公開だそうで
コピー機学習法は画像-Aを学習したLoRA-Aを元モデルにマージしてモデルＡを作り、それをベースに画像-Bで学習するという方法でした
が、コレって画像-Aを学習したLoRA-Aと画像-Bを学習したLoRA-Bからsvdマージで差分を取れば同じこと出来るんじゃね？
と思って検証のために学習を回していたら、どうやらkohyaさんも同じ発想に至っていたらしく、同様に検証で学習回してたようです
そしてkohyaさん側でも、私の方でも検証結果として、差分抽出で問題なくLoRA作成可能だということが分かりました
ということで、差分抽出法で作ったしいたけ目
コピー機学習法で作ったLoRAとは、出力に対する影響のしかたも異なるので、一概にはどちらの方が良いとは言えませんが
この手法により、コピー機モデルを作る手間を省くことが出来そうです、あとモデルによる容量圧迫を抑えられますね
あ、ちなみにkohyaさんの方では、光る眼鏡LoRAなるものを作っているそうです、明日公開だそうで
引用元：https://fate.5ch.net/test/read.cgi/liveuranus/1683921260/
588: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffb0-YTHd)
2023/05/14(日) 01:39:01.11 ID:Gks21ZAv0
>>586
画像ｰAにしいたけ目加筆してそれを画像ｰBとして使うって認識でええんか？
画像ｰAにしいたけ目加筆してそれを画像ｰBとして使うって認識でええんか？
599: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx87-oKnu)
2023/05/14(日) 01:55:02.90 ID:sU2Xmk61x
>>586
ファッ！？
ファッ！？
600: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f88-fUo2)
2023/05/14(日) 01:55:11.74 ID:Xa/izT/V0
>>586
twitterでやり取りしていたヤツか
そろそろコピー機法試してみたかったから下準備簡略化出来ると助かる助かる
twitterでやり取りしていたヤツか
そろそろコピー機法試してみたかったから下準備簡略化出来ると助かる助かる
602: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 63b2-ZkZz)
2023/05/14(日) 01:56:42.46 ID:/k5LjKus0
>>586
画像AとBの学習結果で差分抽出するのか
学習に使うモデルは同じだよね？
初期のnovelAIのリークモデルにgapeを混ぜて無修正化するマージを思い出す
あれも差分抽出ぽい感じで局所的に対応しようとしたものだし
画像AとBの学習結果で差分抽出するのか
学習に使うモデルは同じだよね？
初期のnovelAIのリークモデルにgapeを混ぜて無修正化するマージを思い出す
あれも差分抽出ぽい感じで局所的に対応しようとしたものだし
604: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 63ae-je6H)
2023/05/14(日) 02:00:38.84 ID:J4aSKADf0
>>586
2回読んで理解できた
一般人でもこの手法で作れるようになると捗りそうやね
2回読んで理解できた
一般人でもこの手法で作れるようになると捗りそうやね
613: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b38a-ZkZz)
2023/05/14(日) 02:10:56.12 ID:cVLzsgf60
>>586
検証おつ
lora-Aをマージしたコピー機で学習したlora-Bと、元モデルで学習したlora-Bは同じという話だよねこれ
つまりモデルとloraのマージは学習に影響がないという事なのかな？
検証おつ
lora-Aをマージしたコピー機で学習したlora-Bと、元モデルで学習したlora-Bは同じという話だよねこれ
つまりモデルとloraのマージは学習に影響がないという事なのかな？
623: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7e-Phjm)
2023/05/14(日) 02:37:32.93 ID:anti31iv0
>>613
いや、そうじゃない
差分抽出法はA・B両方の素材で元モデルからコピー機LoRAを作って、そのLoRA同士を強度1と-1でマージして2つのLoRAの差分を取り出す方法
コピー機法は一旦LoRA-Aをモデルにマージしてそれを基準にLoraーBを学習してる以上、元モデルから学習したLora-Bとは違うモノになる
そして素材画像がA・Bそれぞれ1枚ずつでの学習においては、最終的に出来上がるLoRAはほとんど同じようなモノにはなるけど
素材画像の枚数とか解像度とか、その辺の種類が多くなってくると出来上がるLoRAにも違いが出てきたりするのだ
いや、そうじゃない
差分抽出法はA・B両方の素材で元モデルからコピー機LoRAを作って、そのLoRA同士を強度1と-1でマージして2つのLoRAの差分を取り出す方法
コピー機法は一旦LoRA-Aをモデルにマージしてそれを基準にLoraーBを学習してる以上、元モデルから学習したLora-Bとは違うモノになる
そして素材画像がA・Bそれぞれ1枚ずつでの学習においては、最終的に出来上がるLoRAはほとんど同じようなモノにはなるけど
素材画像の枚数とか解像度とか、その辺の種類が多くなってくると出来上がるLoRAにも違いが出てきたりするのだ
635: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b38a-ZkZz)
2023/05/14(日) 03:08:50.80 ID:cVLzsgf60
>>623
>強度1と-1でマージ
解説サンガツこの部分でようやく理解したわ
>強度1と-1でマージ
解説サンガツこの部分でようやく理解したわ
589: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6388-Np+b)
2023/05/14(日) 01:40:12.97 ID:Nl1Dzptl0
雰囲気と感覚でマージやらLoRA作成やらしとるから、理屈で方法論を確立しとる人はすごい思うわ
598: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7e-Phjm)
2023/05/14(日) 01:54:38.37 ID:anti31iv0
また、スペキュラーLoRAの方も差分抽出法を同様に検証していたようで
そちらでも、同様の結果を得られたようですわ
そちらでも、同様の結果を得られたようですわ
601: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6328-v5H7)
2023/05/14(日) 01:56:09.44 ID:i0RqGGib0
あまり難しい事を言うな
ワイが夜泣きするぞ
ワイが夜泣きするぞ
610: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f88-fUo2)
2023/05/14(日) 02:06:04.09 ID:Xa/izT/V0
>>601
これまで:ベースモデルAにベース画像Xを過学習させたLoRAX作成→モデルAとLoRAXをマージしてモデルAXを作る→モデルAXで学習画像Yを学習
今回:モデルAに画像Xを学習したLoRAXとモデルAに画像Yを学習したLoRAYを作成→LoRAXとLoRAYの差分を取ってLoRAX-Yを作成
今回の提案手法ならモデルマージの手間省けるのが利点ってことやね
これまで:ベースモデルAにベース画像Xを過学習させたLoRAX作成→モデルAとLoRAXをマージしてモデルAXを作る→モデルAXで学習画像Yを学習
今回:モデルAに画像Xを学習したLoRAXとモデルAに画像Yを学習したLoRAYを作成→LoRAXとLoRAYの差分を取ってLoRAX-Yを作成
今回の提案手法ならモデルマージの手間省けるのが利点ってことやね
603: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx87-oKnu)
2023/05/14(日) 01:58:14.58 ID:sU2Xmk61x
ワイにも手が出せそうなところまで叡智が降りてきたような
乳首カスタマイズとかMOD並に色々できそうやな
乳首カスタマイズとかMOD並に色々できそうやな
616: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1328-ZkZz)
2023/05/14(日) 02:16:37.16 ID:fd3VWvCX0
コピー機法の解説で最終段階で全てのloraを元モデルにマージしてから差分でloraを作ると書いてあるけど
ワイが試した限りSuperMergerで直接loraを混ぜても同じ画像が出力できてる気がする
ワイが試した限りSuperMergerで直接loraを混ぜても同じ画像が出力できてる気がする
630: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7e-Phjm)
2023/05/14(日) 02:53:43.88 ID:anti31iv0
>>616
あー、その辺は単にコピー機のLoraだけじゃなくて調整用Loraもいくつか混ぜてたからの工程だねぇ
なのでこの工程はコピー機法というよりLoRAマージ手法の一種をやってるだけなのさ
そういう調整不要で、SuperMergerで混ぜて問題無いのが出来るならそっちでいいのよ
いや、色々混ぜるとしてもSuperMergerでも出力dimサイズ上げれば良いのかもしれんが……
あー、その辺は単にコピー機のLoraだけじゃなくて調整用Loraもいくつか混ぜてたからの工程だねぇ
なのでこの工程はコピー機法というよりLoRAマージ手法の一種をやってるだけなのさ
そういう調整不要で、SuperMergerで混ぜて問題無いのが出来るならそっちでいいのよ
いや、色々混ぜるとしてもSuperMergerでも出力dimサイズ上げれば良いのかもしれんが……
637: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1328-ZkZz)
2023/05/14(日) 03:24:54.07 ID:fd3VWvCX0
>>630
なるほどなぁ ワイはコピー機以前にマージ赤ちゃんやった・・・
なるほどなぁ ワイはコピー機以前にマージ赤ちゃんやった・・・
