sixfingerdev/no-transformers

🤖 Türkçe QA Language Model

N-gram tabanlı soru-cevap ve metin tamamlama modeli. 21K temiz QA/diyalog verisiyle eğitilmiştir.

Önemli: Bu bir transformers/PyTorch ağırlık deposu değildir. qa_lm.pkl dosyası, Python pickle biçiminde kaydedilmiş trigram ve retrieval verilerini içerir. pickle.load, kötü niyetli bir dosya açılırsa keyfi kod çalıştırabilir. Kaynağına güvenmediğiniz veya bütünlüğünü doğrulamadığınız .pkl dosyalarını yüklemeyin.

Bu depoda QALM sınıfının ayrı bir Python modülü bulunmuyor. Aşağıdaki Temel Kullanım kodu, ancak Tam Örnek bölümündeki QALM sınıfını önce tanımladıktan sonra çalışır.

📊 Model Bilgileri

• Model Tipi: Trigram Language Model + Retrieval
• Dil: Türkçe
• Kelime hazinesi: ~45K kelime (model parametresi sayısı değildir)
• Eğitim Verisi: 21K QA çifti + diyalog
• Model Boyutu: ~15-30 MB
• Lisans: MIT

🎯 Özellikler

• ✅ Soru-cevap (Q&A mode)
• ✅ Metin tamamlama (Complete mode)
• ✅ Hybrid yaklaşım (Retrieval + Generation)
• ✅ Repetition penalty
• ✅ Temperature ve Top-k kontrolü
• ✅ Mobil uyumlu (Pydroid 3)

📦 Kurulum

# Gerekli kütüphaneler (sadece Python stdlib)
# Ekstra kurulum gerekmez!

🚀 Hızlı Başlangıç

Temel Kullanım

Önce aşağıdaki tam örnekteki QALM sınıfını çalıştırın; bu kısa parça tek başına yeterli değildir.

import pickle

# Modeli yükle
with open('qa_lm.pkl', 'rb') as f:
    data = pickle.load(f)

model = QALM()
model.trigram = data['trigram']
model.bigram = data['bigram']
model.unigram = data['unigram']
model.qa_pairs = data['qa_pairs']
model.ready = True

# Soru sor
answer = model.answer(
    "Python nedir?",
    max_tokens=50,
    temperature=0.7,
    stream=False
)
print(answer)

Tam Örnek (Kopyala-Yapıştır)

import pickle
import random

class QALM:
    def __init__(self):
        self.trigram = {}
        self.bigram = {}
        self.unigram = {}
        self.qa_pairs = []
        self.ready = False
    
    def load(self, path='qa_lm.pkl'):
        with open(path, 'rb') as f:
            data = pickle.load(f)
        self.trigram = data['trigram']
        self.bigram = data['bigram']
        self.unigram = data['unigram']
        self.qa_pairs = data['qa_pairs']
        self.ready = True
        print(f"✓ Model yüklendi! ({len(self.qa_pairs)} QA)")
    
    def find_similar(self, query):
        query_tokens = set(query.lower().split())
        scores = []
        for inp, out in self.qa_pairs:
            inp_tokens = set(inp.split())
            intersection = len(query_tokens & inp_tokens)
            union = len(query_tokens | inp_tokens)
            if union > 0:
                score = intersection / union
                if score > 0.1:
                    scores.append((inp, out, score))
        scores.sort(key=lambda x: x[2], reverse=True)
        return scores[:3]
    
    def predict_next(self, tokens, generated, temperature=0.7, top_k=20):
        candidates = {}
        
        if len(tokens) >= 2:
            key = (tokens[-2], tokens[-1])
            if key in self.trigram:
                candidates = dict(self.trigram[key])
        
        if not candidates and tokens:
            if tokens[-1] in self.bigram:
                candidates = dict(self.bigram[tokens[-1]])
        
        if not candidates:
            return None
        
        recent = set(generated[-10:])
        for w in candidates:
            if w in recent:
                candidates[w] /= 3
        
        items = list(candidates.items())
        weights = [max(c, 0.01) ** (1.0/temperature) for _, c in items]
        
        if len(items) > top_k:
            indexed = sorted(enumerate(weights), key=lambda x: x[1], reverse=True)[:top_k]
            items = [items[i] for i, _ in indexed]
            weights = [weights[i] for i, _ in indexed]
        
        total = sum(weights)
        r = random.random() * total
        cumsum = 0
        for (word, _), weight in zip(items, weights):
            cumsum += weight
            if r <= cumsum:
                return word
        return items[0][0] if items else None
    
    def answer(self, query, max_tokens=50, temperature=0.7, top_k=20):
        similar = self.find_similar(query)
        
        if similar and similar[0][2] > 0.3:
            return similar[0][1]
        
        if similar:
            seed = similar[0][1].split()[:3]
        else:
            seed = query.lower().split()[-2:]
        
        generated = list(seed)
        
        for _ in range(max_tokens):
            next_word = self.predict_next(
                generated[-5:], 
                generated, 
                temperature, 
                top_k
            )
            if not next_word:
                break
            generated.append(next_word)
            if next_word in '.!?' and len(generated) > 10:
                break
        
        return ' '.join(generated)

# Kullanım
model = QALM()
model.load('qa_lm.pkl')

# Soru-Cevap
print(model.answer("Python nedir?"))
print(model.answer("Türkiye'nin başkenti neresi?"))
print(model.answer("Yapay zeka nedir?"))

📝 Kullanım Örnekleri

Q&A Modu

# Yüksek benzerlikli soru (direkt retrieval)
>>> model.answer("Python nedir?", temperature=0.7)
"python bir programlama dilidir. kolay öğrenilebilir ve güçlüdür."

# Düşük benzerlikli soru (generation)
>>> model.answer("Bugün ne yapsam?", temperature=0.8)
"bugün hava güzel olacak. dışarı çıkabilirsin."

Temperature Kontrolü

# Düşük (tutarlı)
>>> model.answer("Merhaba", temperature=0.3, top_k=5)
"merhaba nasılsın?"

# Orta (dengeli)
>>> model.answer("Merhaba", temperature=0.7, top_k=20)
"merhaba ben bir yapay zeka asistanıyım."

# Yüksek (yaratıcı)
>>> model.answer("Merhaba", temperature=1.2, top_k=50)
"merhaba dostum! bugün sana nasıl yardımcı olabilirim?"

⚙️ Parametreler

Parametre	Varsayılan	Açıklama
max_tokens	50	Maksimum üretilecek kelime sayısı
temperature	0.7	Yaratıcılık (0.1-1.5 arası)
top_k	20	Seçilecek en iyi k aday
stream	True	Kelime kelime yazdırma

📈 Performans

• Retrieval başarısı: ~70% (yüksek benzerlikte)
• Generation kalitesi: Orta (trigram limiti)
• Hız: ~0.1 saniye/cevap
• RAM kullanımı: ~50-100 MB

⚠️ Sınırlamalar

• Sadece 21K QA verisi (sınırlı kapsam)
• Trigram modeli (5 kelime context)
• Uzun bağlam hatırlanamaz
• Bazen tekrar edebilir
• Wikipedia bilgisi filtrelenmiş

🎛️ Ayar Önerileri

Tutarlı Cevaplar İçin

temperature=0.5
top_k=10
max_tokens=30

Yaratıcı Cevaplar İçin

temperature=1.0
top_k=40
max_tokens=80

Kısa ve Net Cevaplar

temperature=0.3
top_k=5
max_tokens=20

🔧 Gelişmiş Kullanım

Batch İşleme

questions = [
    "Python nedir?",
    "Türkiye'nin başkenti?",
    "Yapay zeka nasıl çalışır?"
]

for q in questions:
    answer = model.answer(q, stream=False)
    print(f"S: {q}")
    print(f"C: {answer}\n")

Custom Tokenizer

def clean_query(text):
    import re
    text = text.lower()
    text = re.sub(r'[^a-zçğıöşü\s]', '', text)
    return text.strip()

query = clean_query("PYTHON NEDİR???")
answer = model.answer(query)

📚 Eğitim Detayları

• Veri Kaynağı: merged_dataset.jsonl
• Filtreleme: Wikipedia makaleleri hariç
• Eğitim Süresi: ~3-5 dakika
• N-gram: Trigram (3-kelime)
• Retrieval: Jaccard similarity

🐛 Bilinen Sorunlar

1. Çok uzun cevaplar tekrar edebilir
2. Nadir konularda zayıf performans
3. Context window sadece 5 kelime
4. Matematik/hesaplama yapamaz

💡 İpuçları

• Kısa sorular daha iyi sonuç verir
• temperature=0.7 dengeli başlangıç
• Tekrar varsa top_k artır
• QA modunda benzerlik %30'un altındaysa üretim modu devreye girer

📄 Lisans

MIT License - Ticari kullanım dahil serbestçe kullanılabilir.

🤝 Katkı

Model açık kaynak prensipleriyle geliştirilmiştir. İyileştirme önerileri memnuniyetle karşılanır.

📞 İletişim

Sorularınız için issue açabilirsiniz.

---

Not: Bu model eğitim/araştırma amaçlıdır. Production kullanımı için transformer tabanlı modeller önerilir.