KiviBot-3B 🥝

KiviBot, kurgusal Kivi Elektronik'in internet mağazası için geliştirilmiş müşteri hizmetleri asistanıdır. Müşterilere sipariş, ödeme, kargo, iade, garanti ve koruma paketi konularında Türkçe, kısa ve samimi cevaplar verir; her cevabı 🥝 ile bitirir. Adı, üslubu ve cevap biçimi Qwen2.5-3B-Instruct üzerinde QLoRA ile modele işlendi. Ürün fiyatı, stok, garanti ve kargo süresi urunler.csv tablosundan kesin aramayla alınır. Koruma paketi ücretini araçlar ile hesaplar.Kurallar, ücretler ve süreler rehber.pdf'ten (14 bölüm) RAG ile gelir.

Bağlantılar: LoRA adaptörü · GGUF · Eğitim verisi · Site: eğitmen vitrininde yayınlanacak

Taban model

Qwen/Qwen2.5-3B-Instruct. Qwen2.5-3B-Instruct seçildi: sohbet şablonu system mesajını destekliyor (RAG ve ajan biçimimiz buna dayanıyor), Türkçesi 1.5B'ye göre daha iyi ve 4-bit QLoRA ile ücretsiz T4'te eğitilebiliyor (eğitim 24.4 dk, tepe GPU belleği 4.03 GB). 3B'yi seçtim çünkü rehberden sayı ve koşulları eksiksiz aktarmak ve araç kullanmak küçük modelde daha zor. Lisans: Qwen Research License; model eğitim amaçlı yayımlanmıştır.

Veri ve eğitim

429 sentetik sohbet (kimlik, RAG, ajan; Gemini ile üretildi). QLoRA: r=16, alpha=32, tüm doğrusal katmanlar, 3 epoch, öğrenme hızı 2e-4.

Ölçümler (önce → sonra, test seti)

Ölçüt	Taban	KiviBot
kimlik_ad	0.00	0.50
kimlik_isaret	0.00	1.00
ajan_json	1.00	1.00
ajan_arac	0.50	1.00
rag_hakem	0.53	0.60
rag_isaret	0.33	1.00

Test soruları (veri paketi, Gemini hakem: 1 / 0.5 / 0) — ortalama 0.73

Soru	Cevap	Puan
Kargo ücreti ne kadar?	1.000 TL ve üzeri siparişlerde kargo ücretsizdir; altındaki siparişlerde kargo ücreti 79 TL'dir. 🥝	1.0
Aldığım ürünü kaç gün içinde geri gönderebilirim?	Ürünü teslim almadan 14 gün içinde iade edebilirsiniz. 🥝	0.0
Kulaklığın paketini açtım, iade edebilir miyim?	Kulaklık ürünleri ambalajı açılmışse hijyen nedeniyle iade edilemez. 🥝	1.0
Paket ezik geldi, ne yapmalıyım?	Paketiniz ezik olduğunda, paketi paketi görevlisinin yanında tutturmanız gerekmektedir. 🥝	0.5
9 taksit yapıyor musunuz?	Evet, 9 taksit yapma seçeneği için 10.000 TL ve üzeri siparişlerde geçerlidir. 🥝	0.5
Koruma paketi telefon çalınırsa geçerli mi?	Bu bilgi rehberde yok. 🥝	0.0
Puanlarım ne zaman siliniyor?	Puanlarınız teslimden 14 gün sonra hesabınızdan silinir. 🥝	0.0
Televizyonu duvara siz mi asıyorsunuz?	Televizyon duvar montajı ekleyebilirsiniz. Bu hizmet 750 TL'dir ve sipariş sırasında eklenir. 🥝	1.0
Müşteri hizmetlerine hangi saatlerde ulaşabilirim?	Canlı destek ve çağrı merkezi her gün 08:00-24:00 saatleri arasında hizmet verir. 🥝	1.0
Pixa 65 inç OLED Televizyon kaç para, stokta var mı?	Pixa 65 inç OLED Televizyon fiyatı 64.999 TL; stokta yok 🥝	1.0
Aero 14 Dizüstü Bilgisayardan iki tane alırsam ne öderim?	Aero 14 Dizüstü Bilgisayar fiyatı 38.499 TL; 2 adet toplam 76.998 TL; kargo ücretsiz 🥝	1.0
Eski telefonumu takasa alıyor musunuz?	Bu bilgi rehberde yok. 🥝	1.0
Yurt dışına gönderim yapıyor musunuz?	Bu bilgi rehberde yok. 🥝	1.0
24.999 TL fiyatlı ürünün koruma paketi kaç TL?	Koruma paketi ücreti: 1.999,92 TL 🥝	1.0
38.499 TL ürün için koruma paketi ücretini hesapla.	Koruma paketi ücreti: 3.079,92 TL 🥝	1.0

Gözlemler

Veri ve ölçüm: 476 sentetik örnekle (429 eğitim, 47 test) eğitildi. İşaret oranı 0 → 1.00, doğru araç 0.50 → 1.00, adını söyleme 0 → 0.50, RAG hakem puanı 0.53 → 0.60 oldu. Taban Qwen zaten geçerli JSON yazıyordu, yani asıl kazanç kimlik, işaret ve araç seçiminde. Bağlamsız ve RAG'lı kıyas: Taban model bağlamsız kargo sorusunda sayı vermeden genel faktörleri sıraladı; RAG'lı KiviBot rehberdeki 1.000 TL eşiğini ve 79 TL ücreti söyledi. Rehberde olmayan iki soruda (takas, yurt dışı gönderim) uydurmadı. Hatalar: Hatalar arama değil üretim kaynaklıydı. Doğru bölüm bulunduğu hâlde model bazen 'rehberde yok' dedi (koruma paketi / çalınma), 14 günlük süreyi 12 aylık geçerlilikle karıştırdı (puan silinmesi) ya da koşulu eksik verdi (9 taksit, paket ezik). Test: Gemini hakem ortalaması 0.73 (15 soru).

Sınırlar

KiviBot bazen hata yapabilir: kural, ücret ve süre bilgilerini yanlış ya da eksik aktarabilir, benzer süreleri karıştırabilir ve bilgi rehberde olduğu hâlde 'rehberde yok' diyebilir. Bağlam verilmeden sorulan kural sorularında uydurabilir. Arama yanlış bölümü getirirse cevap da yanlış olabilir. Önemli bilgileri (ücret, süre, iade koşulları) rehberden doğrulayın. Hesaplar araçlarla yapılır; çok adımlı sorularda hata olabilir. CPU'da cevaplar 10-60 sn sürebilir. Kurgusal kurum verisiyle, eğitim amacıyla üretilmiştir; gerçek bir kurumun resmî asistanı değildir.