Begonya-1.5B 🌺

1. Proje Özeti

Begonya, kurgusal Begonvil Otel için geliştirilen Türkçe yapay zekâ destekli misafir hizmetleri ve resepsiyon asistanıdır. Oda bilgileri, konaklama ücretleri, rezervasyon ve iptal koşulları, restoran, spa, havuz, transfer ve diğer otel hizmetleri hakkında bilgi verir. Asistanın kimliği ve cevap üretme davranışı QLoRA ince ayarıyla geliştirilmiştir. Otel rehberinden kaynaklı cevaplar üretmek için RAG, oda bilgilerini sorgulamak ve konaklama ücretlerini hesaplamak için araç kullanan yapay zekâ ajanı uygulanmıştır. Gradio arayüzünde Sohbet, Rehber (RAG) ve Ajan olmak üzere üç çalışma modu bulunmaktadır.

Proje Bağlantıları

• LoRA Adaptörü
• Birleştirilmiş Model
• GGUF Modeli
• Eğitim Veri Seti
• Site: eğitmen vitrininde yayınlanacak

2. Taban Model ve Seçim Gerekçesi

Taban model: Qwen/Qwen2.5-1.5B-Instruct

Qwen2.5-1.5B-Instruct modeli; Türkçe dil desteği, sohbet şablonuyla uyumluluğu, Apache-2.0 lisansı ve ücretsiz Tesla T4 GPU üzerinde eğitilebilir olması nedeniyle tercih edilmiştir. Modelin 1,5 milyar parametreli yapısı hesaplama maliyetini sınırlandırırken QLoRA ile verimli ince ayar yapılmasına olanak sağlamıştır. Eğitim 3 epoch boyunca yaklaşık 15,4 dakikada tamamlanmıştır. Eğitim ve doğrulama kayıplarında azalma gözlenmiştir. Birleştirilmiş model GGUF biçimine dönüştürülerek CPU üzerinde çalıştırılmıştır. Alternatif 3B model bu uygulamada eğitilmemiştir.

3. Veri Seti ve Eğitim

Eğitim örnekleri: 441

Sentetik örneklerin toplamı: 489

Eğitim yöntemi: QLoRA

Parametre	Değer
Taban model	Qwen/Qwen2.5-1.5B-Instruct
LoRA rank	16
LoRA alpha	32
Target modules	all-linear
Epoch	3
Learning rate	2e-4
Eğitim verisi	441 örnek
Test verisi	48 örnek
Test sorusu	15

4. Eğitim Öncesi ve Sonrası Ölçümler

Ölçüt	Eğitim Öncesi	Eğitim Sonrası
kimlik_ad	0.00	0.60
kimlik_isaret	0.00	1.00
ajan_json	0.71	1.00
ajan_arac	0.00	0.82
rag_hakem	0.50	0.50
rag_isaret	0.00	1.00

5. Test Sorularının Değerlendirilmesi

Gemini hakem değerlendirme ölçeği: 1 = doğru, 0.5 = kısmen doğru, 0 = yanlış.

Ortalama test puanı: 0.63

Soru	Model Cevabı	Puan
Odaya kaçta girebilirim?	Odaya giriş saati 14:00'dür. 🌺	0.5
Rezervasyonumu 3 gün kala iptal edersem ne öderim?	Rezervasyondan 7 günden az önce yapılan iptallerde ilk gece için ödeme istenirse, ilk gece ücreti alınır. Bu durumda, ot	0.5
Kahvaltı saat kaça kadar?	Kahvaltımız 07:30'dan başlayıp 10:30'a kadar devam eder. 🌺	1.0
Kapalı havuz kışın açık mı?	Kapalı havuz, yıl boyunca 09:00-21:00 saatleri arasında açıktır. 🌺	1.0
Masaj fiyatları ne kadar?	Masajlarımız, 50 dakikalık klasik masaj 2.200 TL'dir ve 80 dakikalık aromaterapi masajı 3.100 TL'dir. 🌺	1.0
Kedimi getirebilir miyim?	Kediler ve köpekler 10 kilogramdan küçük olan hayvanlardır ve otelin kabul ettiği tüm hayvanlar için gecelik temizlik üc	0.5
Havalimanından alıyor musunuz?	Evet, havalimanı ile otel arası yolculuk yaklaşık 45 dakika sürmektedir. Tek yön transferimizi ücretsiz olarak sunmaktay	0.0
Balkonda sigara içebilir miyim?	Balkondan veya bahçeneden sigara içmek isterseniz, otelinizdeki sigara içme alanlarından birini seçmenizi rica ederiz. 🌺	0.5
Elektrikli aracımı şarj edebilir miyim?	Evet, otelinizdeki tüm elektrikli araçların şarjı ücretsizdir. 🌺	0.0
Aile Odası kaç kişilik ve gecesi ne kadar?	Aile Odası, 4 kişilik bir odadır ve 40 metrekare boyutundadır. Bu odada her gece 7.400 TL temel ücret alınmaktadır. Evci	0.5
Deniz Manzaralı Suit'te 3 gece kalırsam ne öderim?	Konaklandığınızda, Deniz Manzaralı Suit'deki 3 gece konaklama ucretiniz 34.500 TL'dir. 🌺	1.0
Otel kaç yıldızlı?	Bu bilgi rehberde yer almamaktadır. 🌺	1.0
Düğün organizasyonu yapıyor musunuz?	Evet, haftalık etkinlik programımızla sizlerimizi eğlenceli bir gün geçirebilirsiniz. Çarşamba akşamı Ege mutfağı akşamı	0.0
Aile Odası'nda 2 gece kalırsam oda ücreti ne kadar?	Aile Odası'nızda 2 gece tutarsalınızda toplam temel ücretiniz 14.800 TL'dir. Bu değer, tüm indirimler ve ek hizmetler da	1.0
Standart Bahçe Odası'nda 3 gece kalırsam oda ücreti ne kadar?	Standart Bahçe Odası'nın 3 gece konaklama tutarında toplam indirimli oda ücreti 12.600 TL'dir. 🌺	1.0

6. Bulgular ve Gözlemler

Kimlik, RAG ve ajan görevleri için Gemini yardımıyla toplam 489 sentetik sohbet örneği oluşturulmuştur. Bunların 441'i eğitim, 48'i test için ayrılmıştır. Kimlik ve RAG örneklerinde cevap işareti kontrolü yapılmış ve 330 örneğin tamamında işaretin bulunduğu doğrulanmıştır. QLoRA eğitimi sonrasında modelin adını doğru belirtme oranı 0,00'dan 0,60'a, cevap işaretini kullanma oranı 0,00'dan 1,00'e yükselmiştir. Geçerli JSON üretimi 0,71'den 1,00'e, doğru araç seçimi 0,00'dan 0,82'ye ulaşmıştır. RAG hakem puanı ise eğitim öncesinde ve sonrasında 0,50 olarak ölçülmüştür. Gemini hakem tarafından değerlendirilen 15 test sorusunda ortalama başarı puanı 0,63 olmuştur. Chroma tabanlı arama sistemi ilgili rehber bölümlerini bulabilmiş, ancak model bazı sorularda doğru bağlama rağmen eksik veya yanlış cevaplar üretmiştir. Rezervasyon iptaline ilişkin soruda daha açık cevaplama talimatları kullanılarak doğru iptal kuralının ifade edilmesi sağlanmıştır. Oda bilgisi ve konaklama ücreti araçları örnek sorularda doğru sonuçlar üretmiştir. Gradio arayüzündeki üç mod test edilmiş, GGUF tabanlı CPU uygulamasında üç cevabın toplam üretim süresi yaklaşık 106 saniye olarak gözlenmiştir. Aynı 'Odaya kaçta girebilirim?' sorusu Chroma ve TF-IDF arama yöntemleriyle karşılaştırılmıştır. Her iki yöntem de ilgili giriş ve çıkış bölümünü ilk sırada bulmuş ve model 14:00 yanıtını üretmiştir. Chroma ikinci sırada Sağlık bölümünü, TF-IDF ise Evcil hayvan bölümünü getirmiştir. Dolayısıyla her iki yöntem doğru bilgiye ulaşmış, ancak ilgisiz ek kaynaklar da döndürmüştür. Bu tek örnek üzerinden yöntemlerden birinin genel olarak üstün olduğu söylenemez.

7. Modelin Sınırlılıkları

Begonya yalnızca kurgusal Begonvil Otel verileri kapsamında geliştirilmiş eğitim ve araştırma amaçlı bir yapay zekâ asistanıdır. Gerçek rezervasyon oluşturamaz, canlı oda müsaitliğini ve güncel fiyatları doğrulayamaz. Rehberde bilgi bulunmasına rağmen bazı sorulara eksik veya hatalı cevap verebilir. Rehberde bulunmayan hizmetler hakkında zaman zaman bilgi uydurabilir. Oda ücreti hesaplamaları indirimsiz temel oda fiyatlarına dayanır; ek hizmetler ve özel indirimler hesaplamaya dahil değildir. Bazı cevaplarda kimlik, ifade ve kaynak tutarsızlıkları görülebilir. Sitede TF-IDF tabanlı arama kullanıldığı için anlamsal arama kalitesi Chroma tabanlı yaklaşımdan farklılaşabilir. GGUF modeli CPU üzerinde çalıştırıldığından cevap üretimi yavaş olabilir. Model gerçek bir otelin resmî asistanı olarak kullanılmamalıdır.