faz1_01: tr_tc100b kaynagi (TC-100B ~103B TR, data_dir=pretrain) — v1.5b ana TR; 4-tuple data_dir destegi

code/kod/faz1_01_tokenize_shard.py

@@ -8,6 +8,7 @@ Mixture EĞİTİMDE uygulanır; shard'lar source/lang etiketli tutulur.
 Kaynaklar (--source):
   en_fineweb_edu : HuggingFaceFW/fineweb-edu (sample-10BT)   lang=en
   tr_fineweb2_hq : epfml/FineWeb2-HQ (tur_Latn)              lang=tr
+  tr_tc100b      : lumees/turkish-corpus-100b (data_dir=pretrain, ~103B, Apache) lang=tr  [v1.5b ANA TR]
 
 Kullanım:
   python kod/faz1_01_tokenize_shard.py --source en_fineweb_edu --target_tokens 5_000_000 --seqs_per_shard 1500
@@ -24,6 +25,8 @@ from decontam import Decontaminator
 SOURCES = {
     "en_fineweb_edu": ("HuggingFaceFW/fineweb-edu", "sample-10BT", "en"),
     "tr_fineweb2_hq": ("epfml/FineWeb2-HQ", "tur_Latn", "tr"),
+    # v1.5b ANA TR: TC-100B (~103B, Apache, FineWeb-2-TR+Cosmos-sentetik+TR-Wiki+haber+math). 4. eleman = data_dir.
+    "tr_tc100b": ("lumees/turkish-corpus-100b", None, "tr", "pretrain"),
     # NOT: StarCoder2/the-stack gate'li, datasets 4.x script kaynaklarını desteklemiyor.
     # codeparrot-clean (ham Python, content kolonu) gate'siz ikamesi.
     "code_codeparrot": ("codeparrot/codeparrot-clean", None, "code"),
@@ -56,7 +59,9 @@ def main():
                     help="13-gram index; yoksa filtre atlanır")
     args = ap.parse_args()
 
-    repo, cfg, lang = SOURCES[args.source]
+    src = SOURCES[args.source]
+    repo, cfg, lang = src[0], src[1], src[2]
+    data_dir = src[3] if len(src) > 3 else None   # dizin-yapılı dataset (TC-100B: pretrain/)
     outdir = os.path.join(args.out_dir, args.source)
     os.makedirs(outdir, exist_ok=True)
     tok = SCTokenizer()
@@ -66,13 +71,13 @@ def main():
         print(f"[decontam] {len(dec.grams):,} adet 13-gram yüklendi → kontamine doc'lar atlanacak")
     else:
         print("[decontam] index yok → filtre KAPALI (uyarı: eval sızıntısı kontrol edilmiyor)")
-    print(f"[{args.source}] repo={repo} cfg={cfg} lang={lang} | seq_len={args.seq_len} "
+    print(f"[{args.source}] repo={repo} cfg={cfg} dir={data_dir} lang={lang} | seq_len={args.seq_len} "
           f"| hedef ~{args.target_tokens/1e6:.1f}M token | vocab={tok.vocab_size}")
 
-    ds = load_dataset(repo, name=cfg, split="train", streaming=True)
+    ds = load_dataset(repo, name=cfg, data_dir=data_dir, split="train", streaming=True)
     buf, seqs, shard_idx = [], [], 0
     tot_tokens = tot_seqs = ndocs = n_skip = 0
-    manifest = {"source": args.source, "repo": repo, "config": cfg, "lang": lang,
+    manifest = {"source": args.source, "repo": repo, "config": cfg, "data_dir": data_dir, "lang": lang,
                 "seq_len": args.seq_len, "shards": []}
     t0 = time.perf_counter()