recoilme commited on
Commit
13c76be
·
verified ·
1 Parent(s): 0442ff3

Ra sdxs-VAE (step 61000)

Browse files
Files changed (2) hide show
  1. run.sh +44 -27
  2. src/train.py +22 -3
run.sh CHANGED
@@ -1,48 +1,65 @@
1
  #!/bin/bash
2
  # Обучение на TFRecord-шардах i1 — одной командой.
3
  #
4
- # bash run.sh /tmp/hf/tst 10 # 10 эпох по всем шардам в папке
5
- # STEP=61000 INIT=transformer bash run.sh /tmp/hf/tst 10
6
- # bash run.sh /tmp/hf/tst 10 --fg # в переднем плане (лог в консоль)
7
  #
8
- # Что уже зашито (чтобы ничего не помнить):
9
- # VAE из vae/ (асимметричный, декодер отдаёт 2x), обучение только по латенту;
10
- # --init по умолчанию transformer/ (веса в формате safetensors);
11
- # --step стартовый шаг для расписания lr (по умолчанию 5000 — как в экспорте);
12
- # --batch 16 (переопределяется BATCH=8, если мало VRAM) --prefetch 256 --workers 8 --sample-every 2000 --text-len 192 --size 256;
13
- # lr 1e-4 → 1e-5 по cosine за весь бюджет, без прогрева (продолжаем обученные веса);
14
- # эпоха = реальное число картинок в папке (считается по заголовкам шардов).
 
15
  set -euo pipefail
16
  cd "$(dirname "$0")"
17
 
18
- DATA=${1:?укажи папку с TFRecord-шардами, например /tmp/hf/tst}
19
- EPOCHS=${2:-10}
20
- INIT=${INIT:-transformer}
21
- STEP=${STEP:-61000}
22
- OUT=${OUT:-tmp/sdxs}
23
- BATCH=${BATCH:-16}
24
- LOG=${LOG:-sdxs_train.log}
25
- FG=0
26
- for a in "$@"; do [ "$a" = "--fg" ] && FG=1; done
27
 
28
- [ -e "$INIT" ] || { echo "нет стартовых весов: $INIT"; echo "скопируй папку transformer/ (или .pt-чекпойнт и INIT=путь)"; exit 1; }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
29
  [ -d "$DATA" ] || { echo "нет папки с шардами: $DATA"; exit 1; }
 
 
 
 
 
 
 
 
 
 
 
 
30
 
31
  CMD=(python3 src/train.py
32
- --init "$INIT" --step "$STEP"
33
  --tfrecord "$DATA" --epochs "$EPOCHS"
34
  --batch "$BATCH" --size 256 --text-len 192 --prefetch 256 --workers 8
35
- --lr 1e-4 --lr-min 1e-5 --lr-warmup 0
36
  --sample-every 2000 --save-every 4000 --log-every 200
37
  --out "$OUT")
38
 
39
- echo "shard'ов в папке: $(ls -1 "$DATA"/*.tfrecord-* 2>/dev/null | wc -l)"
40
- echo "стартовые веса: $INIT (шаг $STEP)"
41
- echo "бюджет: $EPOCHS эпох"
42
- echo "лог: $LOG"
43
  echo "команда: ${CMD[*]}"
44
  echo
45
-
46
  if [ "$FG" = "1" ]; then
47
  "${CMD[@]}"
48
  else
 
1
  #!/bin/bash
2
  # Обучение на TFRecord-шардах i1 — одной командой.
3
  #
4
+ # bash run.sh /tmp/hf/tst 10 # 10 эпох по всем шардам в папке
5
+ # bash run.sh /tmp/hf/tst 10 --init /path/to/step_061000.pt
6
+ # bash run.sh /tmp/hf/tst 10 --step 61000 --batch 8 --fg
7
  #
8
+ # Аргументы можно передавать и флагами, и через env (флаг приоритетнее):
9
+ # --init PATH стартовые веса: папка transformer/ или .pt-чекпойнт (env INIT)
10
+ # --step N стартовый шаг счётчика и расписания lr (env STEP)
11
+ # --batch N батч (env BATCH)
12
+ # --out DIR куда писать чекпойнты/лог (env OUT)
13
+ # --epochs N бюджет в эпохах (второй позиционный аргумент) (env EPOCHS)
14
+ # --fg работать в переднем плане
15
+ # Для .pt-чекпойнта шаг берётся из файла, --step не нужен.
16
  set -euo pipefail
17
  cd "$(dirname "$0")"
18
 
19
+ DATA=""; EPOCHS="${EPOCHS:-10}"
20
+ INIT="${INIT:-transformer}"; STEP="${STEP:-61000}"
21
+ OUT="${OUT:-tmp/run}"; BATCH="${BATCH:-16}"; LOG="${LOG:-train.log}"; FG=0
 
 
 
 
 
 
22
 
23
+ while [ $# -gt 0 ]; do
24
+ case "$1" in
25
+ --init) INIT="$2"; shift 2 ;;
26
+ --step) STEP="$2"; shift 2 ;;
27
+ --batch) BATCH="$2"; shift 2 ;;
28
+ --out) OUT="$2"; shift 2 ;;
29
+ --epochs) EPOCHS="$2"; shift 2 ;;
30
+ --log) LOG="$2"; shift 2 ;;
31
+ --fg) FG=1; shift ;;
32
+ -*) echo "неизвестный флаг: $1"; exit 1 ;;
33
+ *) if [ -z "$DATA" ]; then DATA="$1"; else EPOCHS="$1"; fi; shift ;;
34
+ esac
35
+ done
36
+
37
+ [ -n "$DATA" ] || { echo "укажи папку с TFRecord-шардами, например: bash run.sh /tmp/hf/tst 10"; exit 1; }
38
+ [ -e "$INIT" ] || { echo "нет стартовых весов: $INIT"; exit 1; }
39
  [ -d "$DATA" ] || { echo "нет папки с шардами: $DATA"; exit 1; }
40
+ mkdir -p "$OUT"
41
+
42
+ STEP_ARGS=(--step "$STEP")
43
+ if [ -f "$INIT" ]; then # .pt помнит свой шаг — не перебиваем
44
+ STEP_ARGS=()
45
+ echo "стартовые веса: $INIT (.pt, шаг из файла)"
46
+ else
47
+ echo "стартовые веса: $INIT (шаг $STEP)"
48
+ fi
49
+ echo "shard'ов в папке: $(ls -1 "$DATA"/*.tfrecord-* 2>/dev/null | wc -l)"
50
+ echo "бюджет: $EPOCHS эпох, батч $BATCH, out $OUT"
51
+ echo "свободно на диске: $(df -h "$OUT" | awk 'NR==2 {print $4}')"
52
 
53
  CMD=(python3 src/train.py
54
+ --init "$INIT" "${STEP_ARGS[@]}"
55
  --tfrecord "$DATA" --epochs "$EPOCHS"
56
  --batch "$BATCH" --size 256 --text-len 192 --prefetch 256 --workers 8
57
+ --lr 1e-4 --lr-min 1e-5 --lr-warmup 0 --ema 0.999
58
  --sample-every 2000 --save-every 4000 --log-every 200
59
  --out "$OUT")
60
 
 
 
 
 
61
  echo "команда: ${CMD[*]}"
62
  echo
 
63
  if [ "$FG" = "1" ]; then
64
  "${CMD[@]}"
65
  else
src/train.py CHANGED
@@ -440,12 +440,31 @@ def main():
440
 
441
  def save(step):
442
  sd = {"body": {k: v.cpu() for k, v in m.body.state_dict().items()},
443
- "body_ema": ({k: v.cpu() for k, v in ema_body.items()} if ema_body else None),
 
444
  "mixer_ema": ({k: v.cpu() for k, v in ema_mixer.items()} if ema_mixer else None),
445
  "mixer": {k: v.cpu() for k, v in enc.mixer.state_dict().items()},
446
  "step": step, "args": vars(args), "seed": seed}
447
- torch.save(sd, out / "last.pt")
448
- torch.save(sd, out / "ckpt" / f"step_{step:07d}.pt")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
449
  rotate(out / "ckpt", args.keep, "step_*.pt")
450
 
451
  # ---------------------------------------------------------------- цикл
 
440
 
441
  def save(step):
442
  sd = {"body": {k: v.cpu() for k, v in m.body.state_dict().items()},
443
+ # EMA нужен только для сэмплинга — держим в fp16, иначе чекпойнт вдвое толще
444
+ "body_ema": ({k: v.half().cpu() for k, v in ema_body.items()} if ema_body else None),
445
  "mixer_ema": ({k: v.cpu() for k, v in ema_mixer.items()} if ema_mixer else None),
446
  "mixer": {k: v.cpu() for k, v in enc.mixer.state_dict().items()},
447
  "step": step, "args": vars(args), "seed": seed}
448
+ need = sum(v.numel() * v.element_size() for v in sd["body"].values())
449
+ need += sum(v.numel() * v.element_size() for v in (sd["body_ema"] or {}).values())
450
+ need = int(need * 1.15)
451
+ free = shutil.disk_usage(out).free
452
+ if free < need:
453
+ print(f" ! шаг {step}: на диске {free / 2**30:.1f} ГБ, чекпойнту нужно ~{need / 2**30:.1f} ГБ — "
454
+ f"сохранение пропущено (обучение продолжается)", flush=True)
455
+ return
456
+ # пишем во временный файл и переименовываем: сбой записи не должен убивать last.pt
457
+ for path in (out / "last.pt", out / "ckpt" / f"step_{step:07d}.pt"):
458
+ tmp = path.with_suffix(path.suffix + ".tmp")
459
+ try:
460
+ torch.save(sd, tmp)
461
+ os.replace(tmp, path)
462
+ except Exception as e:
463
+ if tmp.exists():
464
+ tmp.unlink()
465
+ print(f" ! шаг {step}: не удалось сохранить {path.name} ({type(e).__name__}: {e}); "
466
+ f"предыдущий чекпойнт цел", flush=True)
467
+ return
468
  rotate(out / "ckpt", args.keep, "step_*.pt")
469
 
470
  # ---------------------------------------------------------------- цикл