CapitaineVigs/mece-tunepigier-9b-adapter

MƐCE — Tune_Pigier (adapter QLoRA Fongbe)

Adapter PEFT/QLoRA du modèle MƐCE (cf. version fusionnée pour un usage direct). Contient les poids LoRA et les embeddings étendus Fongbe (embed_tokens, lm_head sont dans modules_to_save), d'où la taille de adapter_model.safetensors (~4,3 Go).

Détails

• Méthode : QLoRA — r=64, α=128, dropout 0,05, NF4, calcul bf16.
• Modules cibles : q/k/v/o/gate/up/down_proj + modules_to_save=[embed_tokens, lm_head].
• Base : Qwen 3.5 9B à vocabulaire étendu (+82 tokens Fongbe).

Usage

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained("CapitaineVigs/qwen3.5-9b-fongbe-extended")
model = PeftModel.from_pretrained(base, "CapitaineVigs/mece-tunepigier-9b-adapter")
tok = AutoTokenizer.from_pretrained("CapitaineVigs/mece-tunepigier-9b-adapter")

Pour un usage simple sans gérer la base, préfère la version fusionnée (merged).

Licence

Hérite de la licence du modèle de base Qwen —