# ExecuTorch

[ExecuTorch](https://docs.pytorch.org/executorch/stable/index.html) هو وقت تشغيل خفيف للاستدلال على النماذج في الأجهزة الطرفية. يقوم بتصدير نموذج PyTorch إلى صيغة محمولة تُنفَّذ مسبقًا. يخطط وقت تشغيل صغير بلغة C++ للذاكرة ويوجّه العمليات إلى واجهات خلفية مخصصة لكل قطعة من العتاد. تُعرف سلوكيات التنفيذ والذاكرة قبل تشغيل النموذج على الجهاز، مما يجعل تكلفة الاستدلال منخفضة.

تصدير نموذج Transformers باستخدام مكتبة [optimum-executorch](https://huggingface.co/docs/optimum-executorch/en/index).

```bash
optimum-cli export executorch \
    --model "HuggingFaceTB/SmolLM2-135M-Instruct" \
    --task "text-generation" \
    --recipe "xnnpack" \
    --output_dir="./smollm2_exported"
```

```py
from transformers import AutoTokenizer
from optimum.executorch import ExecuTorchModelForCausalLM

model = ExecuTorchModelForCausalLM.from_pretrained(
    "HuggingFaceTB/SmolLM2-135M-Instruct",
    recipe="xnnpack",
)
model.save_pretrained("./smollm2_exported")
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")
```

## تكامل Transformers

تستخدم عملية التصدير عدة مكونات من Transformers.

1. تحمّل [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) أوزان النموذج بتنسيق safetensors.
2. يطبّق Optimum تحسينات على الرسم البياني ويشغّل [torch.export](https://docs.pytorch.org/docs/stable/export.html) لإنشاء ملف `model.pte` يستهدف وحدة معالجة الخلفية لديك.
3. يُحمّل [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer) أو [AutoProcessor](/docs/transformers/main/ar/model_doc/auto#transformers.AutoProcessor) ملفات المُجزّئ أو المُعالِج ويُنفَّذ أثناء الاستدلال.
4. عند التشغيل، تنفّذ فئة C++ المُشغِّلة ملف `.pte` على بيئة تشغيل ExecuTorch.

```c++
#include <executorch/extension/llm/runner/text_llm_runner.h>

using namespace executorch::extension::llm;

int main() {
  // Load tokenizer and create runner
  auto tokenizer = load_tokenizer("path/to/tokenizer.json", nullptr, std::nullopt, 0, 0);
  auto runner = create_text_llm_runner("path/to/model.pte", std::move(tokenizer));

  // Load the model
  runner->load();

  // Configure generation
  GenerationConfig config;
  config.max_new_tokens = 100;
  config.temperature = 0.8f;

  // Generate text with streaming output
  runner->generate("The capital of France is", config,
    [](const std::string& token) { std::cout << token << std::flush; },
    nullptr);

  return 0;
}
```

## الموارد

- توثيقات [ExecuTorch](https://docs.pytorch.org/executorch/stable/index.html)
- توثيق [torch.export](https://docs.pytorch.org/docs/stable/export.html)
- دليل [التصدير إلى الإنتاج](../serialization#executorch)