Instructions to use recoilme/agat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Diffusers
How to use recoilme/agat with Diffusers:
pip install -U diffusers transformers accelerate
import torch from diffusers import DiffusionPipeline # switch to "mps" for apple devices pipe = DiffusionPipeline.from_pretrained("recoilme/agat", dtype=torch.bfloat16, device_map="cuda") prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" image = pipe(prompt).images[0] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Draw Things
- DiffusionBee
Commit History
26 days ago
-
attention в рендерере (mr_sa_*) + чекпойнт 25k
Рендерер свёрточный: +3 клетки рецептивного поля на блок, attention не было ни на одном уровне, максимальное RF на 512 px — ~290 px из 512. Анатомия — согласованность частей на расстоянии (палец -> кисть -> предплечье -> вторая рука), каналу взяться было неоткуда: единственным глобальным входом был план 16x16, то есть гладкая модуляция 32 px. model/pixel_attn.py: self-attention по карте признаков, ключи — та же карта, усреднённая 2x/4x, к q и kv дописаны сырые координаты. Четыре места в core: перед down1 (8 px на клетку), mid (полное self-attention, 16 px), после up1+joint_x (8 px, уже с текстом) и на карте 128 (4 px; ключи — сводка 16 px). Выходные свёртки нулевые: шаг 0 совпадает с моделью без них, старый чекпойнт грузится 1:1 (проверено: max|Δ| = 0). Цена: +16.99M параметров (206.4 -> 223.4M), ~+14% вычислений. Активации attention обёрнуты в torch.utils.checkpoint (_run1), иначе батч 4 не влезал в 16 ГБ; дефолт --batch 5 -> 4. Чекпойнт: шаг 25 000 (0.85 шаг/с, 3.4 карт/с, 14.5 ГБ…c67f8e0
27 days ago
-
config.json = только model_kw (native_res и прочие нечитаемые ключи убраны); lr 5e-5; train.sh пробрасывает флаги; комментарии о разрешении в наших единицах
70aeb45
28 days ago
-
карточка переписана; flat — бейзлайн, текст на карте 128
Карточка (MODEL_CARD.md) переписана с нуля: больше не «сравнение с Agate» и не объяснение очевидного. Вверху — что это и таблица фактов, дальше как работает (5 строк), чем отличается от Agate (5 строк), статус чекпойнтов, примеры, замеры, использование, ограничения, файлы, лицензии. Выкинуто: абзац про конвенцию t, длинная таблица сравнения, геометрия на 50 строк, разжёванные объяснения shift/logit-normal. Код: flat — основной режим (outer_mode из config.json уважается, 128 больше не уводится жёстко в nested). Добавлены текст-на-128 (`--joint-hi`, cross-attn к joint-токенам) и ёмкость на той же карте (`--hi-blocks`, zero-init гейт) — 1.8M параметров, оба пути нулевые на старте, старые чекпойнты грузятся 1:1. Исправлено по пути: - `bool(uncond.any())` + булева индексация в forward внутри torch.compile → арифметическая маска (ctx*keep, mask&keep): ни ветвления, ни синхронизации; - `_attention` передавала 4D-маску, inductor материализовал матрицу 16384x1536 → аддитивный broadcast-bi…183f6a3
-
model/: пакет вместо копии agate; текст и t входят в рендерер напрямую
- agate/ -> model/: thinker.py (Agate 003, наши правки помечены PATCH:), layers.py (примитивы блока), text_encoder.py (только Ettin). Удалены T2I, Planner, prompt_norm, T5/Hash-энкодеры и 3 не портированных check_*; импорты и model_index.json обновлены; - model/joint.py: совместное внимание [латент 16x16, план, текст] + FiLM от t и cross-attn адаптер на 32x32. Выходы нулевые, поэтому шаг 0 тождественен релизной модели, а старый чекпойнт грузится 1:1 (+10.38M параметров); - train.py: t из logit-normal sigmoid(randn), а сэмплер остаётся на shift 5; lr — 500 шагов прогрева и cosine 1e-4 -> 1e-5; глобальный шаг хранится в <out>/step.txt, чтобы расписание переживало перезапуск сторожа; - test_pipeline.py: 204.74M и проверки 512 px, всего 25; - README, docs/TECHNICAL.md, MODEL_CARD.md приведены к текущей модели.33163f4