nzgl21 commited on
Commit
203f4a0
·
verified ·
1 Parent(s): 80920d1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +50 -13
README.md CHANGED
@@ -1,6 +1,7 @@
1
  ---
2
  language:
3
  - en
 
4
  license: apache-2.0
5
  tags:
6
  - text-classification
@@ -23,19 +24,21 @@ base_model:
23
  - distilbert/distilbert-base-uncased
24
  ---
25
 
26
- # 🎯 Customer Ticket Routing & Intent Classifier (DistilBERT)
27
 
28
- This model is a fine-tuned version of [distilbert-base-uncased](https://huggingface.co/distilbert-base-uncased) for **intent classification and automated customer ticket routing** across **77 banking categories** on the [Banking77](https://huggingface.co/datasets/PolyAI/banking77) dataset.
29
 
30
- It is designed for production microservices to automatically route incoming customer support requests to appropriate departments.
 
 
31
 
32
  ---
33
 
34
- ## 📊 Benchmark & Evaluation Results
35
 
36
- Evaluated on the official Banking77 test set (3,080 samples):
37
 
38
- | Metric | Score |
39
  | :--- | :--- |
40
  | Test Macro F1 | 0.9175 |
41
  | Test Accuracy | 0.9175 |
@@ -43,19 +46,21 @@ Evaluated on the official Banking77 test set (3,080 samples):
43
  | Test Recall (Macro) | 0.9175 |
44
  | Test Loss | 0.3478 |
45
 
46
- ### Comparison with Baselines
47
 
48
- | Approach | Trainable Params | Test Macro F1 | Test Accuracy | Test Loss |
49
  | :--- | :--- | :--- | :--- | :--- |
50
- | Baseline (TF-IDF + LogReg + Bayes) | - | 0.8901 | - | - |
51
  | DistilBERT + LoRA (r=32) | ~2.6% (~1.8M) | 0.9132 | 0.9133 | 0.3189 |
52
  | DistilBERT (Full Fine-Tuning) | 100% (66.9M) | 0.9175 | 0.9175 | 0.3478 |
53
 
 
 
54
  ---
55
 
56
- ## 🚀 How to Use
57
 
58
- ### 1. Using transformers pipeline (Quickest)
59
 
60
  ```python
61
  from transformers import pipeline
@@ -65,9 +70,41 @@ classifier = pipeline(
65
  model="nzgl21/ticket-routing-distilbert"
66
  )
67
 
68
- # Example ticket
69
  ticket = "I noticed an unknown fee charged on my credit card statement."
70
  prediction = classifier(ticket)
71
 
72
  print(prediction)
73
- # Output: [{'label': 'card_payment_fee_charged', 'score': 0.964}]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  language:
3
  - en
4
+ - ru
5
  license: apache-2.0
6
  tags:
7
  - text-classification
 
24
  - distilbert/distilbert-base-uncased
25
  ---
26
 
27
+ # 🎯 Маршрутизация обращений и классификация интентов (DistilBERT)
28
 
29
+ Данная модель представляет собой дообученную версию [distilbert-base-uncased](https://huggingface.co/distilbert-base-uncased) для **автоматической классификации и маршрутизации клиентских обращений** службы поддержки по **77 категориям** банковского датасета [Banking77](https://huggingface.co/datasets/PolyAI/banking77).
30
 
31
+ Модель разработана в рамках микросервиса для автоматического распределения входящих тикетов по профильным отделам банка.
32
+
33
+ * 🔗 **Репозиторий проекта на GitHub:** [nzgl21/ticket-routing-service](https://github.com/nzgl21/ticket-routing-service)
34
 
35
  ---
36
 
37
+ ## 📊 Результаты бенчмарка (Test Set)
38
 
39
+ Оценка качества проводилась на официальной отложенной тестовой выборке `Banking77` (3 080 примеров):
40
 
41
+ | Метрика | Значение |
42
  | :--- | :--- |
43
  | Test Macro F1 | 0.9175 |
44
  | Test Accuracy | 0.9175 |
 
46
  | Test Recall (Macro) | 0.9175 |
47
  | Test Loss | 0.3478 |
48
 
49
+ ### Сравнение с бейзлайнами и подходами
50
 
51
+ | Подход | Обучаемые параметры | Test Macro F1 | Test Accuracy | Test Loss |
52
  | :--- | :--- | :--- | :--- | :--- |
53
+ | Baseline (TF-IDF + LogReg + Bayes) | — | 0.8901 | — | — |
54
  | DistilBERT + LoRA (r=32) | ~2.6% (~1.8M) | 0.9132 | 0.9133 | 0.3189 |
55
  | DistilBERT (Full Fine-Tuning) | 100% (66.9M) | 0.9175 | 0.9175 | 0.3478 |
56
 
57
+ *Полные отчеты по экспериментам и коду обучения доступны в [репозитории проекта](https://github.com/nzgl21/ticket-routing-service).*
58
+
59
  ---
60
 
61
+ ## 🚀 Как использовать модель
62
 
63
+ ### 1. Быстрый инференс через pipeline
64
 
65
  ```python
66
  from transformers import pipeline
 
70
  model="nzgl21/ticket-routing-distilbert"
71
  )
72
 
73
+ # Пример клиентского тикета
74
  ticket = "I noticed an unknown fee charged on my credit card statement."
75
  prediction = classifier(ticket)
76
 
77
  print(prediction)
78
+ # Вывод: [{'label': 'card_payment_fee_charged', 'score': 0.964}]
79
+ ```
80
+
81
+ ### 2. Загрузка через PyTorch / AutoModel
82
+
83
+ ```python
84
+ import torch
85
+ from transformers import AutoTokenizer, AutoModelForSequenceClassification
86
+
87
+ model_name = "nzgl21/ticket-routing-distilbert"
88
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
89
+ model = AutoModelForSequenceClassification.from_pretrained(model_name)
90
+
91
+ inputs = tokenizer("How can I change my PIN?", return_tensors="pt")
92
+ with torch.no_grad():
93
+ logits = model(**inputs).logits
94
+
95
+ predicted_class_id = logits.argmax().item()
96
+ print("Предсказанный интент:", model.config.id2label[predicted_class_id])
97
+ ```
98
+
99
+ ---
100
+
101
+ ## ⚙️ Гиперпараметры обучения
102
+
103
+ Модель обучалась с помощью Hugging Face `Trainer` со следующей конфигурацией:
104
+
105
+ * **Базовая модель:** `distilbert-base-uncased`
106
+ * **Количество эпох:** 4
107
+ * **Learning Rate:** `3e-5` (оптимизатор AdamW)
108
+ * **Weight Decay:** 0.01
109
+ * **Размер батча:** 32 (Train)
110
+ * **Максимальная длина последовательности:** 64 токена