Text-to-Image
Diffusers
Safetensors
flow-matching
pyramidal-unet
latent-diffusion
asym-vae
from-scratch
ra
udit
Instructions to use AiArtLab/ra2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Diffusers
How to use AiArtLab/ra2 with Diffusers:
pip install -U diffusers transformers accelerate
import torch from diffusers import DiffusionPipeline # switch to "mps" for apple devices pipe = DiffusionPipeline.from_pretrained("AiArtLab/ra2", dtype=torch.bfloat16, device_map="cuda") prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" image = pipe(prompt).images[0] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Draw Things
- DiffusionBee
Ra sdxs-VAE (step 61000)
Browse files- run.sh +44 -27
- src/train.py +22 -3
run.sh
CHANGED
|
@@ -1,48 +1,65 @@
|
|
| 1 |
#!/bin/bash
|
| 2 |
# Обучение на TFRecord-шардах i1 — одной командой.
|
| 3 |
#
|
| 4 |
-
# bash run.sh /tmp/hf/tst 10
|
| 5 |
-
#
|
| 6 |
-
# bash run.sh /tmp/hf/tst 10 --
|
| 7 |
#
|
| 8 |
-
#
|
| 9 |
-
#
|
| 10 |
-
# --
|
| 11 |
-
# --
|
| 12 |
-
# --
|
| 13 |
-
#
|
| 14 |
-
#
|
|
|
|
| 15 |
set -euo pipefail
|
| 16 |
cd "$(dirname "$0")"
|
| 17 |
|
| 18 |
-
DATA=${
|
| 19 |
-
|
| 20 |
-
|
| 21 |
-
STEP=${STEP:-61000}
|
| 22 |
-
OUT=${OUT:-tmp/sdxs}
|
| 23 |
-
BATCH=${BATCH:-16}
|
| 24 |
-
LOG=${LOG:-sdxs_train.log}
|
| 25 |
-
FG=0
|
| 26 |
-
for a in "$@"; do [ "$a" = "--fg" ] && FG=1; done
|
| 27 |
|
| 28 |
-
[
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 29 |
[ -d "$DATA" ] || { echo "нет папки с шардами: $DATA"; exit 1; }
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 30 |
|
| 31 |
CMD=(python3 src/train.py
|
| 32 |
-
--init "$INIT"
|
| 33 |
--tfrecord "$DATA" --epochs "$EPOCHS"
|
| 34 |
--batch "$BATCH" --size 256 --text-len 192 --prefetch 256 --workers 8
|
| 35 |
-
--lr 1e-4 --lr-min 1e-5 --lr-warmup 0
|
| 36 |
--sample-every 2000 --save-every 4000 --log-every 200
|
| 37 |
--out "$OUT")
|
| 38 |
|
| 39 |
-
echo "shard'ов в папке: $(ls -1 "$DATA"/*.tfrecord-* 2>/dev/null | wc -l)"
|
| 40 |
-
echo "стартовые веса: $INIT (шаг $STEP)"
|
| 41 |
-
echo "бюджет: $EPOCHS эпох"
|
| 42 |
-
echo "лог: $LOG"
|
| 43 |
echo "команда: ${CMD[*]}"
|
| 44 |
echo
|
| 45 |
-
|
| 46 |
if [ "$FG" = "1" ]; then
|
| 47 |
"${CMD[@]}"
|
| 48 |
else
|
|
|
|
| 1 |
#!/bin/bash
|
| 2 |
# Обучение на TFRecord-шардах i1 — одной командой.
|
| 3 |
#
|
| 4 |
+
# bash run.sh /tmp/hf/tst 10 # 10 эпох по всем шардам в папке
|
| 5 |
+
# bash run.sh /tmp/hf/tst 10 --init /path/to/step_061000.pt
|
| 6 |
+
# bash run.sh /tmp/hf/tst 10 --step 61000 --batch 8 --fg
|
| 7 |
#
|
| 8 |
+
# Аргументы можно передавать и флагами, и через env (флаг приоритетнее):
|
| 9 |
+
# --init PATH стартовые веса: папка transformer/ или .pt-чекпойнт (env INIT)
|
| 10 |
+
# --step N стартовый шаг счётчика и расписания lr (env STEP)
|
| 11 |
+
# --batch N батч (env BATCH)
|
| 12 |
+
# --out DIR куда писать чекпойнты/лог (env OUT)
|
| 13 |
+
# --epochs N бюджет в эпохах (второй позиционный аргумент) (env EPOCHS)
|
| 14 |
+
# --fg работать в переднем плане
|
| 15 |
+
# Для .pt-чекпойнта шаг берётся из файла, --step не нужен.
|
| 16 |
set -euo pipefail
|
| 17 |
cd "$(dirname "$0")"
|
| 18 |
|
| 19 |
+
DATA=""; EPOCHS="${EPOCHS:-10}"
|
| 20 |
+
INIT="${INIT:-transformer}"; STEP="${STEP:-61000}"
|
| 21 |
+
OUT="${OUT:-tmp/run}"; BATCH="${BATCH:-16}"; LOG="${LOG:-train.log}"; FG=0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 22 |
|
| 23 |
+
while [ $# -gt 0 ]; do
|
| 24 |
+
case "$1" in
|
| 25 |
+
--init) INIT="$2"; shift 2 ;;
|
| 26 |
+
--step) STEP="$2"; shift 2 ;;
|
| 27 |
+
--batch) BATCH="$2"; shift 2 ;;
|
| 28 |
+
--out) OUT="$2"; shift 2 ;;
|
| 29 |
+
--epochs) EPOCHS="$2"; shift 2 ;;
|
| 30 |
+
--log) LOG="$2"; shift 2 ;;
|
| 31 |
+
--fg) FG=1; shift ;;
|
| 32 |
+
-*) echo "неизвестный флаг: $1"; exit 1 ;;
|
| 33 |
+
*) if [ -z "$DATA" ]; then DATA="$1"; else EPOCHS="$1"; fi; shift ;;
|
| 34 |
+
esac
|
| 35 |
+
done
|
| 36 |
+
|
| 37 |
+
[ -n "$DATA" ] || { echo "укажи папку с TFRecord-шардами, например: bash run.sh /tmp/hf/tst 10"; exit 1; }
|
| 38 |
+
[ -e "$INIT" ] || { echo "нет стартовых весов: $INIT"; exit 1; }
|
| 39 |
[ -d "$DATA" ] || { echo "нет папки с шардами: $DATA"; exit 1; }
|
| 40 |
+
mkdir -p "$OUT"
|
| 41 |
+
|
| 42 |
+
STEP_ARGS=(--step "$STEP")
|
| 43 |
+
if [ -f "$INIT" ]; then # .pt помнит свой шаг — не перебиваем
|
| 44 |
+
STEP_ARGS=()
|
| 45 |
+
echo "стартовые веса: $INIT (.pt, шаг из файла)"
|
| 46 |
+
else
|
| 47 |
+
echo "стартовые веса: $INIT (шаг $STEP)"
|
| 48 |
+
fi
|
| 49 |
+
echo "shard'ов в папке: $(ls -1 "$DATA"/*.tfrecord-* 2>/dev/null | wc -l)"
|
| 50 |
+
echo "бюджет: $EPOCHS эпох, батч $BATCH, out $OUT"
|
| 51 |
+
echo "свободно на диске: $(df -h "$OUT" | awk 'NR==2 {print $4}')"
|
| 52 |
|
| 53 |
CMD=(python3 src/train.py
|
| 54 |
+
--init "$INIT" "${STEP_ARGS[@]}"
|
| 55 |
--tfrecord "$DATA" --epochs "$EPOCHS"
|
| 56 |
--batch "$BATCH" --size 256 --text-len 192 --prefetch 256 --workers 8
|
| 57 |
+
--lr 1e-4 --lr-min 1e-5 --lr-warmup 0 --ema 0.999
|
| 58 |
--sample-every 2000 --save-every 4000 --log-every 200
|
| 59 |
--out "$OUT")
|
| 60 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 61 |
echo "команда: ${CMD[*]}"
|
| 62 |
echo
|
|
|
|
| 63 |
if [ "$FG" = "1" ]; then
|
| 64 |
"${CMD[@]}"
|
| 65 |
else
|
src/train.py
CHANGED
|
@@ -440,12 +440,31 @@ def main():
|
|
| 440 |
|
| 441 |
def save(step):
|
| 442 |
sd = {"body": {k: v.cpu() for k, v in m.body.state_dict().items()},
|
| 443 |
-
|
|
|
|
| 444 |
"mixer_ema": ({k: v.cpu() for k, v in ema_mixer.items()} if ema_mixer else None),
|
| 445 |
"mixer": {k: v.cpu() for k, v in enc.mixer.state_dict().items()},
|
| 446 |
"step": step, "args": vars(args), "seed": seed}
|
| 447 |
-
|
| 448 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 449 |
rotate(out / "ckpt", args.keep, "step_*.pt")
|
| 450 |
|
| 451 |
# ---------------------------------------------------------------- цикл
|
|
|
|
| 440 |
|
| 441 |
def save(step):
|
| 442 |
sd = {"body": {k: v.cpu() for k, v in m.body.state_dict().items()},
|
| 443 |
+
# EMA нужен только для сэмплинга — держим в fp16, иначе чекпойнт вдвое толще
|
| 444 |
+
"body_ema": ({k: v.half().cpu() for k, v in ema_body.items()} if ema_body else None),
|
| 445 |
"mixer_ema": ({k: v.cpu() for k, v in ema_mixer.items()} if ema_mixer else None),
|
| 446 |
"mixer": {k: v.cpu() for k, v in enc.mixer.state_dict().items()},
|
| 447 |
"step": step, "args": vars(args), "seed": seed}
|
| 448 |
+
need = sum(v.numel() * v.element_size() for v in sd["body"].values())
|
| 449 |
+
need += sum(v.numel() * v.element_size() for v in (sd["body_ema"] or {}).values())
|
| 450 |
+
need = int(need * 1.15)
|
| 451 |
+
free = shutil.disk_usage(out).free
|
| 452 |
+
if free < need:
|
| 453 |
+
print(f" ! шаг {step}: на диске {free / 2**30:.1f} ГБ, чекпойнту нужно ~{need / 2**30:.1f} ГБ — "
|
| 454 |
+
f"сохранение пропущено (обучение продолжается)", flush=True)
|
| 455 |
+
return
|
| 456 |
+
# пишем во временный файл и переименовываем: сбой записи не должен убивать last.pt
|
| 457 |
+
for path in (out / "last.pt", out / "ckpt" / f"step_{step:07d}.pt"):
|
| 458 |
+
tmp = path.with_suffix(path.suffix + ".tmp")
|
| 459 |
+
try:
|
| 460 |
+
torch.save(sd, tmp)
|
| 461 |
+
os.replace(tmp, path)
|
| 462 |
+
except Exception as e:
|
| 463 |
+
if tmp.exists():
|
| 464 |
+
tmp.unlink()
|
| 465 |
+
print(f" ! шаг {step}: не удалось сохранить {path.name} ({type(e).__name__}: {e}); "
|
| 466 |
+
f"предыдущий чекпойнт цел", flush=True)
|
| 467 |
+
return
|
| 468 |
rotate(out / "ckpt", args.keep, "step_*.pt")
|
| 469 |
|
| 470 |
# ---------------------------------------------------------------- цикл
|