pod-day-risk (v2.0)

Amaç

"Pod Day: Telemetri Nöbeti" karar oyununda, oyuncunun bir kararı yanlış verme olasılığını tahmin eder. Tahmin, sahne açıldıktan 10 saniye sonra bir kez yapılır. Olasılık 0.5 veya üstündeyse oyun tutor'un kendiliğinden yönlendirici bir soru sormasını sağlar ve süre baskısını kaldırır.

Girdi ve çıktı

Girdi (float32, bu sırayla): seviye, karar_no, onceki_yanlis_sayisi, ipucu_sayisi, ilk10sn_dokunma_sayisi, ilk10sn_tutor_soru_sayisi. Girdi adı girdi, şekli [N, 6]. Çıktı: sınıf olasılıkları, [:, 1] yanlış karar olasılığıdır. Ayrıntılar config.json içindedir.

Model

Standartlaştırma + lojistik regresyon (scikit-learn, class_weight="balanced", random_state=42), skl2onnx ile ONNX'e çevrildi (opset 17).

Veri

360 satır, 120 oturum. Verinin tamamı sentetiktir, gerçek oturum yoktur. Üretici kuralı ve tohum (42) GitHub deposunda data/uret_sentetik.py içindedir. Kişisel veri toplanmamıştır.

Metrikler

5 katlı StratifiedGroupKFold (aynı oturum iki tarafa düşmez):

Metrik Sonuç Kabul eşiği
Doğruluk 0.700 en az 0.70
Yanlış karar için recall 0.619 en az 0.60
En sık sınıfı tahmin eden taban doğruluğu 0.556 (karşılaştırma)
ONNX ile sklearn çıktı farkı 1e-4'ün altında (kesin değer config.json'da) en fazla 1e-4

Eşikler eğitimden önce yazıldı. Eşiği geçmeyen model yayınlanmaz.

Sınırlar

  • Doğruluk eşiğin tam sınırında ve tabandan yalnızca yaklaşık 14 puan yüksek.
  • Veri sentetik olduğu için bu sayılar, gerçek oyuncu davranışını değil, sentetik üretici kuralını modelin yeniden bulabildiğini gösterir. Gerçek oturumlarla doğrulanmamıştır.
  • Eğitim Google Colab'da yapıldı, farklı kütüphane sürümlerinde sonuç eşiğin altına düşebilir.

Kullanılmaması gereken durumlar

Gerçek öğrencileri notlamak, değerlendirmek ya da sıralamak için; güvenliğin kritik olduğu herhangi bir karar için (ör. gerçek kapsül kontrolü); kişi hakkında çıkarım yapmak için.

Downloads last month
40
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support