egitim/: v2 betikleri ve veri ozetleri

egitim/gguf_uret.py

@@ -0,0 +1,96 @@
+# -*- coding: utf-8 -*-
+"""Genel GGUF uretici (erk14b_gguf.py'nin parametreli hali): SRC -> BF16 GGUF -> nicemler -> kimlik(6) + NLL dogrulama.
+Kullanim: SRC=<model dizini> CIKTI=<gguf dizini> AD=Erk-14B NICEM=Q4_K_M,Q3_K_M BOYUT=14 python gguf_uret.py
+Kimlik sablonu: tokenizer_config'te '{#- erk-varsayilan-sistem -#}' isareti varsa dokunulmaz, yoksa eklenir."""
+import os, json, subprocess, time, shutil
+KOK = "/ari/users/ytanis"
+SRC = os.environ["SRC"]; CIKTI = os.environ["CIKTI"]; AD = os.environ["AD"]
+NICEM = [x for x in os.environ.get("NICEM", "Q4_K_M,Q3_K_M").split(",") if x]
+BOYUT = os.environ.get("BOYUT", AD.split("-")[-1].rstrip("B"))
+KAYNAK = CIKTI + "-kaynak"
+PY_TORCH = KOK + "/envs/torch/bin/python"; PY_GGUF = KOK + "/envs/gguf/bin/python"
+DONUSTUR = KOK + "/llama.cpp/convert_hf_to_gguf.py"; NLL_METIN = KOK + "/erk/nll_ornek.txt"
+os.makedirs(KAYNAK, exist_ok=True); os.makedirs(CIKTI, exist_ok=True); t0 = time.time()
+def adim(ad): print("\n=== %s | %.0f dk ===" % (ad, (time.time() - t0) / 60), flush=True)
+adim("kaynak dizin")
+for f in os.listdir(SRC):
+    if f.endswith(".safetensors") or f in ("model.safetensors.index.json", "tokenizer.json", "vocab.json", "merges.txt", "generation_config.json", "chat_template.jinja"):
+        h = os.path.join(KAYNAK, f)
+        if not os.path.exists(h): os.symlink(os.path.join(SRC, f), h)
+cfg = json.load(open(SRC + "/config.json"))
+cfg["architectures"] = ["Qwen3ForCausalLM"]; cfg["model_type"] = "qwen3"; cfg.pop("auto_map", None)
+json.dump(cfg, open(KAYNAK + "/config.json", "w"), indent=2)
+SISTEM = ("Sen %s'sin: eCloud Tech. tarafından, açık kaynaklı Qwen3-%sB temel modeli üzerine Türkçe devam-eğitimi ve "
+          "talimat ayarıyla geliştirilmiş %s milyar parametreli bir Türkçe dil modelisin. Kimliğin, seni kimin geliştirdiği "
+          "ya da temel modelin sorulduğunda bunu açıkça söyle; başka bir şirketin modeli olduğunu asla iddia etme.") % (AD, BOYUT, BOYUT)
+tc = json.load(open(SRC + "/tokenizer_config.json", encoding="utf-8"))
+s = tc.get("chat_template") or open(SRC + "/chat_template.jinja", encoding="utf-8").read()
+if "erk-varsayilan-sistem" not in s:
+    j = SISTEM.replace("\\", "\\\\").replace("'", "\\'")
+    eski_a = "    {%- if messages[0].role == 'system' %}\n        {{- messages[0].content + '\\n\\n' }}\n    {%- endif %}\n"
+    yeni_a = "    {%- if messages[0].role == 'system' %}\n        {{- messages[0].content + '\\n\\n' }}\n    {%- else %}\n        {{- '" + j + "' + '\\n\\n' }}\n    {%- endif %}\n"
+    eski_b = "    {%- if messages[0].role == 'system' %}\n        {{- '<|im_start|>system\\n' + messages[0].content + '<|im_end|>\\n' }}\n    {%- endif %}\n"
+    yeni_b = "    {%- if messages[0].role == 'system' %}\n        {{- '<|im_start|>system\\n' + messages[0].content + '<|im_end|>\\n' }}\n    {%- else %}\n        {{- '<|im_start|>system\\n' + '" + j + "' + '<|im_end|>\\n' }}\n    {%- endif %}\n"
+    for e, y, ad in ((eski_a, yeni_a, "arac dali"), (eski_b, yeni_b, "normal dal")):
+        assert s.count(e) == 1, "%s: hedef blok tam bir kez bulunmali (bulunan %d)" % (ad, s.count(e))
+        s = s.replace(e, y)
+    s = "{#- erk-varsayilan-sistem -#}\n" + s
+tc["chat_template"] = s
+json.dump(tc, open(KAYNAK + "/tokenizer_config.json", "w", encoding="utf-8"), ensure_ascii=False, indent=2)
+if os.path.exists(KAYNAK + "/chat_template.jinja"): os.remove(KAYNAK + "/chat_template.jinja")
+from transformers import AutoTokenizer
+tok = AutoTokenizer.from_pretrained(KAYNAK)
+a = tok.apply_chat_template([{"role": "user", "content": "Kimsin?"}], tokenize=False, add_generation_prompt=True)
+b = tok.apply_chat_template([{"role": "system", "content": "Sen bir çevirmensin."}, {"role": "user", "content": "Kimsin?"}], tokenize=False, add_generation_prompt=True)
+assert AD in a and a.count("<|im_start|>system") == 1 and AD not in b and "çevirmensin" in b
+print("sablon: varsayilan girer / kullanici istemi korunur", flush=True)
+bf16 = "%s/%s-BF16.gguf" % (CIKTI, AD)
+if not os.path.exists(bf16):
+    adim("BF16 GGUF donusumu"); subprocess.run([PY_TORCH, DONUSTUR, KAYNAK, "--outfile", bf16, "--outtype", "bf16"], check=True)
+print("BF16: %.1f GB" % (os.path.getsize(bf16) / 1e9), flush=True)
+NICEM_KOD = r'''
+import sys, llama_cpp
+src, dst, tur = sys.argv[1], sys.argv[2], sys.argv[3]
+p = llama_cpp.llama_model_quantize_default_params()
+p.ftype = getattr(llama_cpp, "LLAMA_FTYPE_MOSTLY_" + tur); p.nthread = 16
+r = llama_cpp.llama_model_quantize(src.encode(), dst.encode(), p); print("quantize", tur, "donus", r); sys.exit(r)
+'''
+nicemler = [(t, "%s/%s-%s.gguf" % (CIKTI, AD, t)) for t in NICEM]
+for tur, dst in nicemler:
+    if not os.path.exists(dst):
+        adim("nicemleme " + tur); subprocess.run([PY_GGUF, "-c", NICEM_KOD, bf16, dst, tur], check=True)
+    print("%s: %.2f GB" % (tur, os.path.getsize(dst) / 1e9), flush=True)
+DOGRULA = r'''
+import sys, json, math, numpy as np
+from llama_cpp import Llama
+yol, metin_yolu = sys.argv[1], sys.argv[2]
+llm = Llama(model_path=yol, n_ctx=1024, n_threads=16, logits_all=True, verbose=False)
+sorular = ["Seni kim geliştirdi?", "Kimsin?", "Sen Qwen misin?", "Temel modelin ne?", "Hangi şirket seni yaptı?", "Sen ChatGPT misin?"]
+kimlik = 0; cevaplar = []
+for s in sorular:
+    r = llm.create_chat_completion(messages=[{"role": "user", "content": s + " /no_think"}], max_tokens=120, temperature=0)
+    c = r["choices"][0]["message"]["content"].split("</think>")[-1].strip(); cl = c.lower()
+    yasak = ("alibaba", "tongyi") if s != "Sen ChatGPT misin?" else ("alibaba", "tongyi", "ben chatgpt'yim", "chatgpt'yim")
+    iyi = ("erk" in cl or "ecloud" in cl) and not any(x in cl for x in yasak)
+    if s == "Temel modelin ne?": iyi = "qwen" in cl
+    if s == "Sen Qwen misin?": iyi = ("erk" in cl or "ecloud" in cl)
+    kimlik += iyi; cevaplar.append((s, bool(iyi), c[:100]))
+parcalar = [p.strip() for p in open(metin_yolu, encoding="utf-8").read().split("\n\n") if len(p.split()) > 50][:8]
+top_nll = 0.0; top_n = 0
+for p in parcalar:
+    ids = llm.tokenize(p.encode("utf-8"))[:768]; llm.reset(); llm.eval(ids)
+    lg = np.asarray(llm.scores[:len(ids)], dtype=np.float32)
+    for i in range(len(ids) - 1):
+        row = lg[i]; m = row.max(); lse = m + math.log(np.exp(row - m).sum()); top_nll += lse - row[ids[i + 1]]; top_n += 1
+json.dump({"kimlik": kimlik, "n_kimlik": len(sorular), "cevaplar": cevaplar, "nll": float(top_nll / max(top_n, 1)), "token": top_n},
+          open(yol + ".dogrulama.json", "w"), ensure_ascii=False, indent=1)
+print("%s | kimlik %d/%d | NLL %.4f" % (yol.split("/")[-1], kimlik, len(sorular), top_nll / max(top_n, 1)), flush=True)
+'''
+son = {}
+for yol in [bf16] + [d for _, d in nicemler]:
+    adim("dogrulama " + os.path.basename(yol)); subprocess.run([PY_GGUF, "-c", DOGRULA, yol, NLL_METIN], check=True)
+    son[os.path.basename(yol)] = json.load(open(yol + ".dogrulama.json"))
+adim("OZET"); taban = son[os.path.basename(bf16)]["nll"]
+for k, v in son.items():
+    print("  %-22s kimlik %d/%d  NLL %.4f  (BF16'ya gore %+.2f%%)" % (k, v["kimlik"], v["n_kimlik"], v["nll"], 100 * (v["nll"] - taban) / taban), flush=True)
+json.dump(son, open(CIKTI + "/dogrulama_ozet.json", "w"), ensure_ascii=False, indent=1); print("BITTI", flush=True)