pod-day-risk (v2.0)
Amaç
"Pod Day: Telemetri Nöbeti" karar oyununda, oyuncunun bir kararı yanlış verme olasılığını tahmin eder. Tahmin, sahne açıldıktan 10 saniye sonra bir kez yapılır. Olasılık 0.5 veya üstündeyse oyun tutor'un kendiliğinden yönlendirici bir soru sormasını sağlar ve süre baskısını kaldırır.
Girdi ve çıktı
Girdi (float32, bu sırayla): seviye, karar_no, onceki_yanlis_sayisi, ipucu_sayisi, ilk10sn_dokunma_sayisi, ilk10sn_tutor_soru_sayisi. Girdi adı girdi, şekli [N, 6]. Çıktı: sınıf olasılıkları, [:, 1] yanlış karar olasılığıdır. Ayrıntılar config.json içindedir.
Model
Standartlaştırma + lojistik regresyon (scikit-learn, class_weight="balanced", random_state=42), skl2onnx ile ONNX'e çevrildi (opset 17).
Veri
360 satır, 120 oturum. Verinin tamamı sentetiktir, gerçek oturum yoktur. Üretici kuralı ve tohum (42) GitHub deposunda data/uret_sentetik.py içindedir. Kişisel veri toplanmamıştır.
Metrikler
5 katlı StratifiedGroupKFold (aynı oturum iki tarafa düşmez):
| Metrik | Sonuç | Kabul eşiği |
|---|---|---|
| Doğruluk | 0.700 | en az 0.70 |
| Yanlış karar için recall | 0.619 | en az 0.60 |
| En sık sınıfı tahmin eden taban doğruluğu | 0.556 | (karşılaştırma) |
| ONNX ile sklearn çıktı farkı | 1e-4'ün altında (kesin değer config.json'da) |
en fazla 1e-4 |
Eşikler eğitimden önce yazıldı. Eşiği geçmeyen model yayınlanmaz.
Sınırlar
- Doğruluk eşiğin tam sınırında ve tabandan yalnızca yaklaşık 14 puan yüksek.
- Veri sentetik olduğu için bu sayılar, gerçek oyuncu davranışını değil, sentetik üretici kuralını modelin yeniden bulabildiğini gösterir. Gerçek oturumlarla doğrulanmamıştır.
- Eğitim Google Colab'da yapıldı, farklı kütüphane sürümlerinde sonuç eşiğin altına düşebilir.
Kullanılmaması gereken durumlar
Gerçek öğrencileri notlamak, değerlendirmek ya da sıralamak için; güvenliğin kritik olduğu herhangi bir karar için (ör. gerçek kapsül kontrolü); kişi hakkında çıkarım yapmak için.
- Downloads last month
- 40