【AI】LoRAの差分抽出法が確立ｗｗｗｗｗｗｗｗ　

えー、LoRAの差分抽出法が確立されました
コピー機学習法は画像-Aを学習したLoRA-Aを元モデルにマージしてモデルＡを作り、それをベースに画像-Bで学習するという方法でした
が、コレって画像-Aを学習したLoRA-Aと画像-Bを学習したLoRA-Bからsvdマージで差分を取れば同じこと出来るんじゃね？
と思って検証のために学習を回していたら、どうやらkohyaさんも同じ発想に至っていたらしく、同様に検証で学習回してたようです
そしてkohyaさん側でも、私の方でも検証結果として、差分抽出で問題なくLoRA作成可能だということが分かりました
ということで、差分抽出法で作ったしいたけ目

コピー機学習法で作ったLoRAとは、出力に対する影響のしかたも異なるので、一概にはどちらの方が良いとは言えませんが
この手法により、コピー機モデルを作る手間を省くことが出来そうです、あとモデルによる容量圧迫を抑えられますね

あ、ちなみにkohyaさんの方では、光る眼鏡LoRAなるものを作っているそうです、明日公開だそうで

雰囲気と感覚でマージやらLoRA作成やらしとるから、理屈で方法論を確立しとる人はすごい思うわ

また、スペキュラーLoRAの方も差分抽出法を同様に検証していたようで
そちらでも、同様の結果を得られたようですわ

あまり難しい事を言うな
ワイが夜泣きするぞ

ワイにも手が出せそうなところまで叡智が降りてきたような
乳首カスタマイズとかMOD並に色々できそうやな

コピー機法の解説で最終段階で全てのloraを元モデルにマージしてから差分でloraを作ると書いてあるけど
ワイが試した限りSuperMergerで直接loraを混ぜても同じ画像が出力できてる気がする