Ra fp16 (step 460000)

src/train.py

@@ -185,8 +185,8 @@ def main():
     ap.add_argument("--drop-word", type=float, default=0.05, help="доля токенов подписи, скрытых в строке")
     ap.add_argument("--graft", default="", help="привить блоки (стартуют тождеством), например 'e0=2,e1=2,d1=2'")
     ap.add_argument("--cfg", type=float, default=1.5, help="CFG при показе сэмплов")
-    ap.add_argument("--sample-steps", type=int, default=8, help="шагов тела при сэмплинге")
-    ap.add_argument("--tail-steps", type=int, default=4, help="шагов декодера AE")
+    ap.add_argument("--sample-steps", type=int, default=16, help="шагов тела при сэмплинге")
+    ap.add_argument("--tail-steps", type=int, default=8, help="шагов декодера AE (как в sample.py)")
     ap.add_argument("--lr-tail", type=float, default=3e-5)
     ap.add_argument("--tail", choices=["frozen", "train"], default="train")
     ap.add_argument("--init", default=str(ROOT / "transformer"),

transformer/config.json

@@ -118,28 +118,28 @@
         "level": 0,
         "tokens": "÷1",
         "width": 192,
-        "blocks": "conv 6 enc / 4 dec + 1 self-attn на сторону",
+        "blocks": "conv 6 enc / 4 dec + 2 self-attn на сторону",
         "text": "кросс-внимание в каждом conv-блоке и в self-attn"
       },
       {
         "level": 1,
         "tokens": "÷2",
         "width": 512,
-        "blocks": "attn 4 enc / 3 dec",
+        "blocks": "attn 5 enc / 4 dec",
         "text": "кросс-внимание"
       },
       {
         "level": 2,
         "tokens": "÷4",
         "width": 1024,
-        "blocks": "attn 3 enc / 2 dec",
+        "blocks": "attn 5 enc / 4 dec",
         "text": "кросс-внимание"
       },
       {
         "level": 3,
         "tokens": "÷8",
         "width": 1536,
-        "blocks": "attn 2 (боттлнек)",
+        "blocks": "attn 4 (боттлнек)",
         "text": "кросс-внимание"
       }
     ],
@@ -152,7 +152,7 @@
   "tail": {
     "source": "декодер AE, 6 блоков @512, PixelShuffle ×3",
     "trained_as": "flow по пикселям, условие z0 + (ошибка тела).detach()",
-    "sample_steps": 4
+    "sample_steps": 8
   },
   "params": {
     "body": 238.54,