YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

📘 Full Fine-Tuning – Enhanced MiniLM Model

🚀 Description

Ce projet met en œuvre un fine-tuning complet et amélioré d’un modèle de base sentence-transformers/all-MiniLM-L6-v2 sur des communications de la Réserve Fédérale.
L’objectif est d’améliorer la compréhension sémantique et la performance sur des requêtes spécifiques liées à la politique monétaire.

Le fine-tuning est effectué à partir d’un fichier communications.txt (CSV avec les colonnes Date, Release Date, Type, Text) transformé en jeux d’exemples variés pour entraîner le modèle.

⚙️ Installation

  1. Cloner le projet / aller dans le dossier
cd /Users/simon-pierreboucher/Desktop/full

    2.	Créer un environnement virtuel

python3 -m venv venv
source venv/bin/activate

    3.	Installer les dépendances

pip install -r requirements.txt

Dépendances principales :
    •	sentence-transformers
    •	torch
    •	datasets
    •	accelerate
    •	pandas
    •	numpy


📊 Résultats
    •	Nombre de documents traités : 451
    •	Nombre d’exemples générés : 4,434
    •	Nombre d’époques : 5
    •	Temps d’entraînement : ~4 minutes (CPU)
    •	Loss : CosineSimilarityLoss

Améliorations moyennes :
    •	+2.8% en similarité moyenne
    •	+14.4% sur les meilleures paires

Exemples de gains par requête :
    •	“employment unemployment labor market conditions trends” → +13.91%
    •	“interest rates federal funds rate policy changes” → +12.13%
    •	“quantitative easing asset purchases balance sheet” → +11.50%

⸻

📦 Utilisation du modèle fine-tuné

Une fois entraîné, le modèle est disponible dans ./finetuned_model_enhanced_5epochs.

Exemple d’utilisation en Python :

from sentence_transformers import SentenceTransformer, util

# Charger le modèle fine-tuné
model = SentenceTransformer("./finetuned_model_enhanced_5epochs")

# Exemple de requêtes
query1 = "federal reserve monetary policy committee decisions"
query2 = "interest rates federal funds rate policy changes"

emb1 = model.encode(query1, convert_to_tensor=True)
emb2 = model.encode(query2, convert_to_tensor=True)

similarity = util.pytorch_cos_sim(emb1, emb2)
print(f"Similarity: {similarity.item():.4f}")



📌 Remarques
    •	Assurez-vous que le fichier communications.txt est présent dans le dossier.
    •	Si vous avez un fichier JSON à la place, adaptez la fonction de chargement.
    •	Vous pouvez augmenter les époques ou changer la loss (MultipleNegativesRankingLoss, TripletLoss, etc.) pour tester d’autres performances.
Downloads last month
3
Safetensors
Model size
22.7M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support