Update README.md
Browse files
README.md
CHANGED
|
@@ -8,4 +8,12 @@ tags:
|
|
| 8 |
1. [SSD-1B](https://huggingface.co/segmind/SSD-1B)を[NekorayXL](https://civitai.com/models/136719?modelVersionId=150826)と[sdxl-1.0](https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)の差分の1.3倍でマージ。蒸留前と蒸留後のkeyについてはこの[マッピング](https://gist.github.com/laksjdjf/eddeda74a90ddaaaf4c51aea1ece7d01)を想定しています。
|
| 9 |
2. [NekorayXL](https://civitai.com/models/136719?modelVersionId=150826)の最終出力との差を損失にして蒸留
|
| 10 |
|
| 11 |
-
なんだかよさげな雰囲気だがanatomyに問題を抱えている。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
1. [SSD-1B](https://huggingface.co/segmind/SSD-1B)を[NekorayXL](https://civitai.com/models/136719?modelVersionId=150826)と[sdxl-1.0](https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)の差分の1.3倍でマージ。蒸留前と蒸留後のkeyについてはこの[マッピング](https://gist.github.com/laksjdjf/eddeda74a90ddaaaf4c51aea1ece7d01)を想定しています。
|
| 9 |
2. [NekorayXL](https://civitai.com/models/136719?modelVersionId=150826)の最終出力との差を損失にして蒸留
|
| 10 |
|
| 11 |
+
なんだかよさげな雰囲気だがanatomyに問題を抱えている。
|
| 12 |
+
|
| 13 |
+
# SSD-1BとSDXLのkey対応について
|
| 14 |
+
[削除したモジュールがどれか分からないので](https://github.com/segmind/SSD-1B/issues/1)、コサイン類似度を利用して推定しました。
|
| 15 |
+
Transformer_depthだけ変わっているので（多分）Attention層のパラメータをSDXLとSSD-1B調査しました。
|
| 16 |
+
2層⇒1層となる場合先頭の層が残ります。
|
| 17 |
+
10層⇒4層となる場合1,2,3,6番目の層が残ります。
|
| 18 |
+
|
| 19 |
+
※up層の3番目は10層のままですが、コサイン類似度の結果が不可解なものになっていました。とりあえずここは変更されていないと仮定しています。
|