metadata
tags:
- text-to-image
このモデルは以下の2ステップで作成されました。
- SSD-1BをNekorayXLとsdxl-1.0の差分の1.3倍でマージ。蒸留前と蒸留後のkeyについてはこのマッピングを想定しています。
- NekorayXLの最終出力との差を損失にして蒸留（学習率1e-5,バッチサイズ4で9000ステップ)
使い方
safetensors形式のファイルは最新のComfyUIで使えます。
LoRA
LECOを利用していい感じにするLoRAも併せてアップロードしてます。cfg_scale=1～4辺りにするといい。 https://huggingface.co/furusu/SSD-1B-anime/blob/main/ssd-1b-anime-cfgdistill.safetensors
SSD-1BとSDXLのkey対応について
削除したモジュールがどれか分からないので、コサイン類似度を利用して推定しました。 Transformer_depthだけ変わっているので（多分）Attention層のパラメータをSDXLとSSD-1B調査しました。 2層⇒1層となる場合先頭の層が残ります。 10層⇒4層となる場合1,2,3,7番目の層が残ります。
※up層の3番目は10層のままですが、コサイン類似度の結果が不可解なものになっていました。とりあえずここは変更されていないと仮定しています。
