v1.5b faz6: cok-turlu {messages} maskeleme (encode_messages/encode_any) + base checkpoints_350m namespace + max_len 2048 (context)

code/kod/faz6_sft.py

@@ -2,11 +2,14 @@
 Faz 6 — SFT (instruction fine-tuning) iskeleti — SmartCore V1.
 
 Base modeli (kdirgul/smartcore-v1 son ckpt) instruction verisiyle fine-tune eder.
-Veri: JSONL, her satır {"instruction": str, "input": str(opsiyonel), "output": str}.
-KRİTİK: loss SADECE yanıt (output) tokenlerinde hesaplanır — prompt -100 ile maskelenir.
+Veri: JSONL. İKİ format desteklenir (encode_any tespit eder):
+  • tek-tur (v1): {"instruction": str, "input": str(ops), "output": str}  → ### Talimat/### Yanıt
+  • çok-turlu (v1.5b): {"messages": [{"role","content"},...]}                → ### Sistem/### Kullanıcı/### Asistan
+KRİTİK: loss SADECE asistan/yanıt tokenlerinde (+eos) — prompt/kullanıcı -100 ile maskelenir.
+NOT: --max_len ≤ pretraining seq_len (2048) tutulmalı (GQA-RoPE extrapolation'ı önle).
 
-Ortam: Colab GPU + mamba-og fork (wheel). Model tanımı gömülü (import bağımlılığı yok).
-Yerelde test edilebilir kısımlar (fork'suz): build_prompt / encode_example / collate / lr_at.
+Ortam: Colab GPU + resmî mamba-ssm (wheel-cache). Model tanımı gömülü (import bağımlılığı yok).
+Yerelde test edilebilir (mamba-ssm'siz): build_prompt / encode_example / encode_messages / collate / lr_at.
 
 Kullanım:
   HF_TOKEN=hf_xxx python faz6_sft.py --data sft.jsonl --epochs 3 --lr 2e-5 \
@@ -135,6 +138,43 @@ def encode_example(sp, ex, max_len, eos_id):
     return ids, labels
 
 
+# çok-turlu şablon — faz6_prep_v15b.py render() ile BİREBİR AYNI olmalı (SP özel-token YOK)
+SYS_PFX, USER_PFX, ASST_PFX = "### Sistem:\n", "### Kullanıcı:\n", "### Asistan:\n"
+_PFX = {"system": SYS_PFX, "user": USER_PFX, "assistant": ASST_PFX}
+
+
+def encode_messages(sp, ex, max_len, eos_id):
+    """Çok-turlu {messages} → (ids, labels). SADECE asistan içeriği + her turun eos'u öğrenilir;
+    sistem/kullanıcı turları + tüm prefix'ler + ayraçlar -100 (maskeli). Uzunsa SOLDAN kırpılır
+    (son yanıt korunur). Şablon faz6_prep_v15b.render() ile aynı (segment-segment tokenize)."""
+    msgs = ex["messages"]
+    ids, labels = [], []
+    for i, m in enumerate(msgs):
+        role = m["role"]; content = (m.get("content") or "").strip()
+        prefix = _PFX[role]
+        sep = "\n\n" if i < len(msgs) - 1 else ""     # turlar \n\n ile birleşir (render ile aynı)
+        if role == "assistant":
+            p = sp.encode(prefix, out_type=int)                    # "### Asistan:\n" → maskeli (inference'ta biz veririz)
+            c = sp.encode(content, out_type=int) + [eos_id]        # içerik + eos → ÖĞRENİLİR
+            s = sp.encode(sep, out_type=int) if sep else []
+            ids += p + c + s
+            labels += [-100] * len(p) + c + [-100] * len(s)
+        else:                                                      # system/user → tümü maskeli
+            seg = sp.encode(prefix + content + sep, out_type=int)
+            ids += seg
+            labels += [-100] * len(seg)
+    if len(ids) > max_len:
+        ids, labels = ids[-max_len:], labels[-max_len:]           # son yanıtı koru
+    return ids, labels
+
+
+def encode_any(sp, ex, max_len, eos_id):
+    """Format tespiti: {messages}→çok-turlu; {instruction,output}→tek-tur (v1 uyumlu)."""
+    if ex.get("messages"):
+        return encode_messages(sp, ex, max_len, eos_id)
+    return encode_example(sp, ex, max_len, eos_id)
+
+
 def collate(batch, pad_id):
     """Sağdan pad. input_ids pad_id ile, labels -100 ile doldurulur."""
     maxlen = max(len(ids) for ids, _ in batch)
@@ -169,17 +209,19 @@ def load_tok(token):
     return spm.SentencePieceProcessor(model_file=p)
 
 
-def base_ckpt(spec, token):
+def base_ckpt(spec, token, subdir="checkpoints_350m"):
     if spec and spec != "latest_hf":
         if os.path.exists(spec):
             return spec
         from huggingface_hub import hf_hub_download   # HF yolu (örn sft/epoch_2/ckpt.pt) → devam SFT
         print(f"[base] HF: {spec}", flush=True)
         return hf_hub_download("kdirgul/smartcore-v1", spec, repo_type="model", token=token)
-    from huggingface_hub import HfApi, hf_hub_download
+    from huggingface_hub import HfApi, hf_hub_download   # latest_hf → subdir'deki son pretrain ckpt (v1.5b=checkpoints_350m)
     api = HfApi(token=token)
     fs = [f for f in api.list_repo_files("kdirgul/smartcore-v1", repo_type="model")
-          if f.startswith("checkpoints/step_") and f.endswith("ckpt.pt")]
+          if f.startswith(f"{subdir}/step_") and f.endswith("ckpt.pt")]
+    if not fs:
+        sys.exit(f"[hata] '{subdir}/' altında pretrain ckpt yok. (v1.0 için --base_subdir checkpoints)")
     latest = max(fs); print(f"[base] {latest}", flush=True)
     return hf_hub_download("kdirgul/smartcore-v1", latest, repo_type="model", token=token)
 
@@ -192,7 +234,7 @@ def load_examples(path):
             if not line:
                 continue
             ex = json.loads(line)
-            if ex.get("instruction") and ex.get("output"):
+            if ex.get("messages") or (ex.get("instruction") and ex.get("output")):
                 rows.append(ex)
     return rows
 
@@ -226,7 +268,9 @@ def load_replay(token, n, max_len, seed):
 def main():
     ap = argparse.ArgumentParser()
     ap.add_argument("--data", required=True, help="instruction JSONL yolu")
-    ap.add_argument("--base", default="latest_hf", help="latest_hf | yerel base .pt")
+    ap.add_argument("--base", default="latest_hf", help="latest_hf | HF yolu (sft/epoch_2/ckpt.pt) | yerel .pt")
+    ap.add_argument("--base_subdir", default="checkpoints_350m",
+                    help="latest_hf namespace (v1.5b=checkpoints_350m, v1.0=checkpoints)")
     ap.add_argument("--epochs", type=int, default=3)
     ap.add_argument("--lr", type=float, default=2e-5)
     ap.add_argument("--micro_batch", type=int, default=8)
@@ -257,7 +301,7 @@ def main():
         pass
 
     sp = load_tok(token); eos_id = sp.eos_id(); pad_id = max(sp.pad_id(), 0)
-    st = torch.load(base_ckpt(args.base, token), map_location="cpu")
+    st = torch.load(base_ckpt(args.base, token, args.base_subdir), map_location="cpu", weights_only=False)
     cfg = st["cfg"]
     model = HybridLM(cfg, device=dev, dtype=torch.bfloat16)
     model.load_state_dict(st["model"], strict=False); model.train()
@@ -267,8 +311,10 @@ def main():
     random.shuffle(rows)
     n_val = max(1, int(len(rows) * args.val_frac)) if args.val_frac > 0 else 0
     val_rows, train_rows = rows[:n_val], rows[n_val:]
-    enc = [encode_example(sp, ex, args.max_len, eos_id) for ex in train_rows]
-    val_enc = [encode_example(sp, ex, args.max_len, eos_id) for ex in val_rows]
+    enc = [encode_any(sp, ex, args.max_len, eos_id) for ex in train_rows]
+    val_enc = [encode_any(sp, ex, args.max_len, eos_id) for ex in val_rows]
+    n_multi = sum(1 for ex in train_rows if ex.get("messages"))
+    print(f"[format] çok-turlu(messages)={n_multi} | tek-tur(instruction)={len(train_rows)-n_multi}", flush=True)
     n_sft = len(enc)
     if args.replay_frac > 0:
         n_replay = int(n_sft * args.replay_frac / (1 - args.replay_frac))