| --- |
| license: mit |
| tags: |
| - emotion-detection |
| - image-classification |
| - computer-vision |
| - resnet |
| datasets: |
| - custom |
| --- |
| |
| # emotion_model-thoeppner |
| |
| Dieses Modell ist eine feinjustierte Version von `resnet-18` für einen benutzerdefinierten Emotionsdatensatz. Es erzielt die folgenden Ergebnisse auf der Validierungsmenge: |
| |
| - **Loss**: 0.8515 |
| - **Accuracy**: 71.60 % |
| |
| ## Modell Beschreibung |
| |
| Das Modell basiert auf der ResNet-18 Architektur und wurde mithilfe von PyTorch auf einem Emotionsdatensatz trainiert. Ziel war es, ein robustes Klassifikationsmodell zur Erkennung von 9 Emotionen in Gesichtern zu entwickeln. |
| |
| ## Einsatzbereiche und Einschränkungen |
| |
| **Verwendungszweck:** |
| |
| - Klassifizierung von Emotionen zu Bildungs-, Analyse- oder Demonstrationszwecken |
| - Kann in Gradio-Anwendungen zur Emotionserkennung auf hochgeladenen Gesichtern genutzt werden |
| |
| **Einschränkungen:** |
| |
| - Nicht geeignet für Emotionen ausserhalb der 9 trainierten Klassen |
| - Erkennung kann bei schlechten Lichtverhältnissen, verdeckten Gesichtern oder untypischen Gesichtsausdrücken ungenau sein |
| - Modell benötigt klare, frontal aufgenommene Gesichter für optimale Ergebnisse |
| |
| ## Trainings- und Evaluationsdaten |
| |
| Das Modell wurde auf einem privaten Emotionsdatensatz mit **64 864** Bildern in **9 Klassen** trainiert. |
| |
| **Klassen:** |
| |
| - happy |
| - sad |
| - angry |
| - surprised |
| - fear |
| - disgust |
| - neutral |
| - contempt |
| - unknown |
| |
| **Aufteilung des Datensatzes:** |
| |
| - 80 % Training |
| - 20 % Validierung (interner Split) |
| |
| ## Training der Hyperparameter |
| |
| Die folgenden Hyperparameter wurden beim Training verwendet: |
| |
| | Hyperparameter | Wert | |
| |-----------------------|----------------| |
| | Optimizer | Adam | |
| | Learning Rate | 0.0005 (mit ReduceLROnPlateau Scheduler) | |
| | Batch Size | 64 | |
| | Loss Function | CrossEntropyLoss | |
| | Early Stopping | nach 5 Epochen ohne Verbesserung | |
| | Maximale Epochen | 6 | |
| | Eingabebildgröße | 224 × 224 Pixel | |
| |
| ## Training Resultate |
| |
| | Epoche | Train Loss | Train Accuracy | Val Loss | Val Accuracy | |
| |-------|------------|----------------|----------|--------------| |
| | 1 | 0.9685 | 65.72 % | 0.9370 | 66.70 % | |
| | 2 | 0.7705 | 72.42 % | 1.0514 | 62.30 % | |
| | 3 | 0.7409 | 73.08 % | 1.0166 | 64.90 % | |
| | 4 | 0.6329 | 77.15 % | 0.9834 | 65.70 % | |
| | 5 | 0.4704 | 83.40 % | 0.8515 | 71.60 % | |
| | 6 | 0.3543 | 87.83 % | 0.9220 | 70.80 % | |
| |
| - **Bestes Validation Loss**: **0.8515** |
| - **Bestes Validation Accuracy**: **71.60 %** |
| |
| --- |
| |
| ## Vergleich mit Zero-Shot-Modell (CLIP) |
| |
| Zur Einordnung der Leistung wurde das Modell mit einem Zero-Shot-Klassifikationsmodell `openai/clip-vit-base-patch32` verglichen. Beide Modelle wurden auf dem identischen Testset (5 000 Bilder) ausgewertet. |
| |
| ### Zero-Shot Modell: |
| |
| - **Modell**: CLIP (ViT-Base, Patch-32) |
| - **Aufgabe**: Zero-Shot Image Classification |
| - **Keine Feinjustierung** – nutzt nur Text-Bild-Verständnis |
| |
| ### Beobachtungen: |
| |
| - Das ResNet-18 Modell erzielt eine deutlich höhere Accuracy auf bekannten Emotionen und kann feine Unterschiede zwischen Emotionen besser erkennen. |
| - Das CLIP-Modell zeigte gute Generalisierung auf bisher unbekannte Emotionen, hatte jedoch insgesamt eine geringere Genauigkeit. |
| |
| ### Zero-Shot Ergebnisse: |
| |
| - **Accuracy**: 10.0 % |
| - **Macro Avg F1-Score**: 7 % |
| - **Weighted Avg F1-Score**: 5 % |
| |
| --- |
| |
| ## Framework Versionen |
| |
| | Bibliothek | Version | |
| |----------------|---------------| |
| | Transformers | 4.52.2 | |
| | PyTorch | 2.6.0+cu124 | |
| | Datasets | 3.4.1 | |
| | Tokenizers | 0.21.1 | |
| | scikit-learn | 1.4.2 | |
| | Matplotlib | 3.8.4 | |
| | Seaborn | 0.13.2 | |
| |
