# Axolotl

[Axolotl](https://docs.axolotl.ai/) هو إطار عمل للضبط الدقيق والتدريب اللاحق لنماذج اللغة الكبيرة. يدعم الضبط القائم على المُكيِّفات، والتدريب الموزّع ND-parallel، وGRPO، وQAT. من خلال [TRL](./trl)، يتولى Axolotl أيضًا مهام التعلم التفضيلي، والتعلم المعزز، ونمذجة المكافآت.

حدد تشغيل التدريب الخاص بك في ملف إعدادات بصيغة YAML.

```yaml
base_model: NousResearch/Nous-Hermes-llama-1b-v1
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer

datasets:
  - path: tatsu-lab/alpaca
    type: alpaca

output_dir: ./outputs
sequence_len: 512
micro_batch_size: 1
gradient_accumulation_steps: 1
num_epochs: 1
learning_rate: 2.0e-5
```

ابدأ التدريب باستخدام أمر [train](https://docs.axolotl.ai/docs/cli.html#train).

```bash
axolotl train my_config.yml
```

## تكامل Transformers

يغلّف [ModelLoader](https://docs.axolotl.ai/docs/api/loaders.model.html#axolotl.loaders.model.ModelLoader) في Axolotl تدفق التحميل الخاص بـ Transformers.

- يُبنى تكوين النموذج من [AutoConfig.from_pretrained()](/docs/transformers/main/ar/model_doc/auto#transformers.AutoConfig.from_pretrained). يحدد إعداد التحميل المسبق [device map](https://huggingface.co/docs/accelerate/concept_guides/big_model_inference#designing-a-device-map) و[quantization config](../main_classes/quantization) و[attention backend](../attention_interface).

- يختار `ModelLoader` تلقائيًا فئة [AutoModel](/docs/transformers/main/ar/model_doc/auto#transformers.AutoModel) المناسبة ([AutoModelForCausalLM](/docs/transformers/main/ar/model_doc/auto#transformers.AutoModelForCausalLM)، [AutoModelForImageTextToText](/docs/transformers/main/ar/model_doc/auto#transformers.AutoModelForImageTextToText)، [AutoModelForSequenceClassification](/docs/transformers/main/ar/model_doc/auto#transformers.AutoModelForSequenceClassification)) أو فئة محددة للنموذج من خرائط متعددة الوسائط. يتم تحميل الأوزان باستخدام `from_pretrained` الخاص بالمحمّل المختار. عند تعيين `reinit_weights`، يستخدم Axolotl `from_config` للمبادرة العشوائية.

- يستخدم Axolotl مكتبات Transformers و[PEFT](https://huggingface.co/docs/peft/index) و[bitsandbytes](https://huggingface.co/docs/bitsandbytes/index) لتطبيق المُكيّفات (adapters) بعد تهيئة النموذج عند تفعيل تقنيات تعتمد على PEFT مثل LoRA وQLoRA. كما يطبّق مدير التصحيحات (patch manager) تحسينات إضافية قبل تحميل النموذج وبعده.

- يمتد [AxolotlTrainer](https://docs.axolotl.ai/docs/api/core.trainers.base.html#axolotl.core.trainers.base.AxolotlTrainer) من [Trainer](/docs/transformers/main/ar/main_classes/trainer#transformers.Trainer)، مضيفًا إضافات Axolotl مع استخدام حلقة التدريب وواجهات برمجة التطبيقات الخاصة بـ [Trainer](/docs/transformers/main/ar/main_classes/trainer#transformers.Trainer).

## الموارد

- توثيقات [Axolotl](https://docs.axolotl.ai/)