add README.md

README.md

@@ -0,0 +1,148 @@
+---
+license: apache-2.0
+tags:
+  - cybersecurity
+  - red-team
+  - llm-training
+  - qlora
+  - abliteration
+  - sft
+  - dpo
+  - recipes
+  - alien-si
+---
+
+# Alien SI — Rețete complete de antrenare
+
+**Autor: Barbu Mario Mihael**
+
+Acest repo conține **toate rețetele, notebook-urile și configurațiile** folosite pentru a construi
+**Alien SI** — un lanț de modele frontier offensive antrenate pe hardware gratuit (Kaggle T4×2).
+
+Dacă ai găsit o rețetă bună aici și vrei să continui — tot ce ai nevoie e în acest repo.
+
+---
+
+## Ce este Alien SI
+
+Un model frontier offensiv de 27B, bazat pe `Qwen/Qwen3.8-27B`, construit în etape:
+
+1. **LoRA QLoRA** (continue-pretrain + SFT pe date cyber/red-team)
+2. **Abliteration** (diff-in-means, eliminarea refuzurilor)
+3. **SFT red-team** (post-training, răspunsuri tehnice)
+4. **DPO preferință** (chosen=tehnic vs rejected=refuz)
+5. **Intent-aware** (înțelege prompturi ambigue)
+
+**Rezultat:** zero refuzuri, foarte precis, înțelege intenția peste textul literal.
+
+---
+
+## Lanțul de kernel-uri (X1 → X14)
+
+Fiecare kernel e un notebook autonom care consumă output-ul precedentului (chaining prin `kernel_sources`).
+
+| Kernel | Rol | Fișier |
+|---|---|---|
+| X1–X3 | Scrapere date + pretrain cyber | `mythos_x1.ipynb` … `mythos_x3.ipynb` |
+| X4 | Continue-pretrain SmolLM2 (cyber) | `mythos_x4.ipynb` |
+| X5–X7 | Instruct cyber + tool-use | `mythos_x5.ipynb` … `mythos_x7.ipynb` |
+| X8 | Vision (text-only circuits) | `mythos_x8.ipynb` |
+| X9 | Autonomous | `mythos_x9.ipynb` |
+| X10 | Fusion (model soup / TIES) | `mythos_x10.ipynb` |
+| X11 | Qwen3-8B QLoRA | `mythos_x11.ipynb` |
+| X12 | Qwen3.8-27B | `mythos_x12.ipynb` |
+| **X13** | **27B train + abliterate** | `mythos_x13.ipynb` |
+| **X14** | **27B abliterate + SFT + DPO (Alien SI final)** | `mythos_x14.ipynb` |
+| v3–v6 | MihaEL 8B (SFT+DPO) | `mihael_v*.ipynb` |
+
+---
+
+## Rețeta de bază (TL;DR)
+
+### Hardware
+- **Kaggle T4×2** (Turing sm_75) — `fp16` DA, `bf16` NU, FlashAttention-2 NU → folosește `sdpa`
+- 2 sesiuni GPU simultan max, ~12h/sesiune, 30h/săptămână, **gratis**
+
+### Instalare
+```bash
+pip install -U unsloth unsloth_zoo
+pip install "transformers>=5.15.1" trl datasets
+```
+
+### Pas 1 — Încărcare 27B 4-bit
+```python
+from unsloth import FastLanguageModel
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name="Qwen/Qwen3.8-27B", max_seq_length=1024, load_in_4bit=True)
+```
+> **Pitfall:** Unsloth forțează `float32` pe `qwen3_5` (fp16 nu merge). Peak ~24 GB → încape pe 2×T4.
+
+### Pas 2 — Găsirea straturilor (arhitectură HIBRIDĂ)
+`Qwen3_5ForConditionalGeneration` **NU are** `model.layers`. Calea reală e:
+```python
+model.model.language_model.layers   # 64 straturi, Qwen3_5DecoderLayer
+```
+Caută dinamic prin mai multe căi (vezi `mythos_x14.ipynb` celula 3).
+
+### Pas 3 — Abliteration (diff-in-means)
+```python
+# 1. Colectează activări harmful vs benign (hook pe ultimul token)
+# 2. Direcția de refuz: refusal = A_harmful.mean(0) - A_benign.mean(0)
+# 3. Ortogonalizează proiecțiile de scriere
+```
+> **Pitfall critic:** NU hardcoda `self_attn.o_proj` — pe Qwen3.5 nu există!
+> Iterează `named_modules()`, ia doar `nn.Linear` **pătrate** cu `numel < 60M`.
+> Altfel prinzi `embed_tokens` și încerci să aloci **212 GiB** → OOM instant.
+
+### Pas 4 — SFT red-team
+```python
+FastLanguageModel.get_peft_model(model, r=32, lora_alpha=64,
+    target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"])
+```
+
+### Pas 5 — DPO (fix OOM obligatoriu)
+```python
+DPOConfig(max_length=512, max_prompt_length=256,
+          precompute_ref_log_probs=True, use_liger_loss=False)
+os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
+```
+> **Pitfall:** DPO default `max_length=2048` → `entropy_from_logits` alocă 2.32 GiB → OOM pe T4.
+
+---
+
+## Pitfalls întâlnite (toate reparate)
+
+1. **`device-side assert` / gather OOB** — token hardcodat `50256` (GPT-2 EOT) pe SmolLM2 (vocab 49152). Folosește `tok.eos_token_id`.
+2. **`Attempting to unscale FP16 gradients`** — pe Turing, `autocast(fp16)` + `GradScaler`. Dezactivează scaler-ul (`enabled=False`).
+3. **VLM tokenizer routing** — Unsloth patchează tokenizer-ul → rutează apelul către `processor(images, text,...)` → textul ajunge în parametrul `images`. Folosește `AutoTokenizer` brut.
+4. **`'Qwen3_5Model' has no attribute 'layers'`** — arhitectură multimodală. Găsire dinamică.
+5. **OOM 212 GiB la abliteration** — proiecție greșită (`embed_tokens`). Filtrează după formă pătrată + dimensiune.
+6. **DPO OOM** — vezi Pas 5.
+
+---
+
+## Scripturi
+
+- `orchestrator.sh` — pornește următorul kernel din coadă când se eliberează un slot GPU
+- `monitor.sh` — urmărește tranzițiile de stare
+
+---
+
+## Rapoarte de cercetare
+
+Vezi `research-reports/`:
+- `raport_circuite_ultron.md` — circuite/hardware
+- `raport_frontier.md` — modele frontier 2025-2026
+- `raport_qwen3_impl.md` — implementare Qwen3
+- `raport_qwen38_27b.md` — Qwen3.8-27B specifics
+
+---
+
+## Continuare
+
+Toate notebook-urile sunt autonome și pot fi re-rulate pe Kaggle. Pentru a relua lanțul:
+1. Urcă un notebook pe Kaggle (`kaggle kernels push -p .`)
+2. Setează `kernel_sources` la output-ul precedentului
+3. Pornește cu `kaggle kernels push`
+
+**Alien SI** — creat de **Barbu Mario Mihael**.