recoilme commited on
Commit
0442ff3
·
verified ·
1 Parent(s): e995b65

Ra sdxs-VAE (step 61000)

Browse files
Files changed (3) hide show
  1. .gitattributes +0 -1
  2. run.sh +52 -0
  3. src/publish.py +1 -1
.gitattributes CHANGED
@@ -6,4 +6,3 @@
6
  *.parquet filter=lfs diff=lfs merge=lfs -text
7
  *.png filter=lfs diff=lfs merge=lfs -text
8
  *.jpg filter=lfs diff=lfs merge=lfs -text
9
- docs/presentation.pdf filter=lfs diff=lfs merge=lfs -text
 
6
  *.parquet filter=lfs diff=lfs merge=lfs -text
7
  *.png filter=lfs diff=lfs merge=lfs -text
8
  *.jpg filter=lfs diff=lfs merge=lfs -text
 
run.sh ADDED
@@ -0,0 +1,52 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ #!/bin/bash
2
+ # Обучение на TFRecord-шардах i1 — одной командой.
3
+ #
4
+ # bash run.sh /tmp/hf/tst 10 # 10 эпох по всем шардам в папке
5
+ # STEP=61000 INIT=transformer bash run.sh /tmp/hf/tst 10
6
+ # bash run.sh /tmp/hf/tst 10 --fg # в переднем плане (лог в консоль)
7
+ #
8
+ # Что уже зашито (чтобы ничего не помнить):
9
+ # VAE из vae/ (асимметричный, декодер отдаёт 2x), обучение только по латенту;
10
+ # --init по умолчанию transformer/ (веса в формате safetensors);
11
+ # --step стартовый шаг для расписания lr (по умолчанию 5000 — как в экспорте);
12
+ # --batch 16 (переопределяется BATCH=8, если мало VRAM) --prefetch 256 --workers 8 --sample-every 2000 --text-len 192 --size 256;
13
+ # lr 1e-4 → 1e-5 по cosine за весь бюджет, без прогрева (продолжаем обученные веса);
14
+ # эпоха = реальное число картинок в папке (считается по заголовкам шардов).
15
+ set -euo pipefail
16
+ cd "$(dirname "$0")"
17
+
18
+ DATA=${1:?укажи папку с TFRecord-шардами, например /tmp/hf/tst}
19
+ EPOCHS=${2:-10}
20
+ INIT=${INIT:-transformer}
21
+ STEP=${STEP:-61000}
22
+ OUT=${OUT:-tmp/sdxs}
23
+ BATCH=${BATCH:-16}
24
+ LOG=${LOG:-sdxs_train.log}
25
+ FG=0
26
+ for a in "$@"; do [ "$a" = "--fg" ] && FG=1; done
27
+
28
+ [ -e "$INIT" ] || { echo "нет стартовых весов: $INIT"; echo "скопируй папку transformer/ (или .pt-чекпойнт и INIT=путь)"; exit 1; }
29
+ [ -d "$DATA" ] || { echo "нет папки с шардами: $DATA"; exit 1; }
30
+
31
+ CMD=(python3 src/train.py
32
+ --init "$INIT" --step "$STEP"
33
+ --tfrecord "$DATA" --epochs "$EPOCHS"
34
+ --batch "$BATCH" --size 256 --text-len 192 --prefetch 256 --workers 8
35
+ --lr 1e-4 --lr-min 1e-5 --lr-warmup 0
36
+ --sample-every 2000 --save-every 4000 --log-every 200
37
+ --out "$OUT")
38
+
39
+ echo "shard'ов в папке: $(ls -1 "$DATA"/*.tfrecord-* 2>/dev/null | wc -l)"
40
+ echo "стартовые веса: $INIT (шаг $STEP)"
41
+ echo "бюджет: $EPOCHS эпох"
42
+ echo "лог: $LOG"
43
+ echo "команда: ${CMD[*]}"
44
+ echo
45
+
46
+ if [ "$FG" = "1" ]; then
47
+ "${CMD[@]}"
48
+ else
49
+ setsid nohup "${CMD[@]}" < /dev/null > "$LOG" 2>&1 &
50
+ sleep 20
51
+ echo "запущено в фоне. смотреть: tail -f $LOG"
52
+ fi
src/publish.py CHANGED
@@ -19,7 +19,7 @@ from safetensors.torch import load_file, save_file
19
  ROOT = Path(__file__).resolve().parent.parent
20
  REPO_ID = "AiArtLab/Ra"
21
 
22
- COPY = ["README.md", "requirements.txt", "run_sdxs.sh", ".gitattributes", "docs", "src",
23
  "vae/config.json", "vae/LICENSE", "vae/README.md", "vae/.gitattributes", "vae/example.py",
24
  "vae/ae", "text_encoder/config.json", "text_encoder/tokenizer.json",
25
  "text_encoder/tokenizer_config.json", "text_encoder/special_tokens_map.json",
 
19
  ROOT = Path(__file__).resolve().parent.parent
20
  REPO_ID = "AiArtLab/Ra"
21
 
22
+ COPY = ["README.md", "requirements.txt", "run.sh", ".gitattributes", "docs", "src",
23
  "vae/config.json", "vae/LICENSE", "vae/README.md", "vae/.gitattributes", "vae/example.py",
24
  "vae/ae", "text_encoder/config.json", "text_encoder/tokenizer.json",
25
  "text_encoder/tokenizer_config.json", "text_encoder/special_tokens_map.json",