YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
📘 Full Fine-Tuning – Enhanced MiniLM Model
🚀 Description
Ce projet met en œuvre un fine-tuning complet et amélioré d’un modèle de base sentence-transformers/all-MiniLM-L6-v2 sur des communications de la Réserve Fédérale.
L’objectif est d’améliorer la compréhension sémantique et la performance sur des requêtes spécifiques liées à la politique monétaire.
Le fine-tuning est effectué à partir d’un fichier communications.txt (CSV avec les colonnes Date, Release Date, Type, Text) transformé en jeux d’exemples variés pour entraîner le modèle.
⚙️ Installation
- Cloner le projet / aller dans le dossier
cd /Users/simon-pierreboucher/Desktop/full
2. Créer un environnement virtuel
python3 -m venv venv
source venv/bin/activate
3. Installer les dépendances
pip install -r requirements.txt
Dépendances principales :
• sentence-transformers
• torch
• datasets
• accelerate
• pandas
• numpy
📊 Résultats
• Nombre de documents traités : 451
• Nombre d’exemples générés : 4,434
• Nombre d’époques : 5
• Temps d’entraînement : ~4 minutes (CPU)
• Loss : CosineSimilarityLoss
Améliorations moyennes :
• +2.8% en similarité moyenne
• +14.4% sur les meilleures paires
Exemples de gains par requête :
• “employment unemployment labor market conditions trends” → +13.91%
• “interest rates federal funds rate policy changes” → +12.13%
• “quantitative easing asset purchases balance sheet” → +11.50%
⸻
📦 Utilisation du modèle fine-tuné
Une fois entraîné, le modèle est disponible dans ./finetuned_model_enhanced_5epochs.
Exemple d’utilisation en Python :
from sentence_transformers import SentenceTransformer, util
# Charger le modèle fine-tuné
model = SentenceTransformer("./finetuned_model_enhanced_5epochs")
# Exemple de requêtes
query1 = "federal reserve monetary policy committee decisions"
query2 = "interest rates federal funds rate policy changes"
emb1 = model.encode(query1, convert_to_tensor=True)
emb2 = model.encode(query2, convert_to_tensor=True)
similarity = util.pytorch_cos_sim(emb1, emb2)
print(f"Similarity: {similarity.item():.4f}")
📌 Remarques
• Assurez-vous que le fichier communications.txt est présent dans le dossier.
• Si vous avez un fichier JSON à la place, adaptez la fonction de chargement.
• Vous pouvez augmenter les époques ou changer la loss (MultipleNegativesRankingLoss, TripletLoss, etc.) pour tester d’autres performances.
- Downloads last month
- 3
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support