LiteRT

LiteRT (المعروف سابقًا باسم TensorFlow Lite) هو بيئة التشغيل الخاصة بشركة Google للاستدلال على الجهاز. صيغة النموذج هي .tflite وتُشحن نماذج اللغة كملف واحد بصيغة .litertlm لبيئة التشغيل LiteRT-LM.

تصدير نموذج Transformers باستخدام litert-torch. يقوم بتحويل رسم torch.export إلى LiteRT مباشرة، وليس عبر ONNX أو SavedModel الخاص بـ TensorFlow.

pip install litert-torch

litert-torch export_hf \
    --model="HuggingFaceTB/SmolLM2-135M-Instruct" \
    --output_dir="./smollm2_litertlm"

import litert_torch
from transformers import AutoModelForMaskedLM, AutoTokenizer

model_id = "google-bert/bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id).eval()
inputs = tokenizer("Paris is the [MASK] of France.", return_tensors="pt", padding="max_length", max_length=128)

litert_model = litert_torch.convert(model, sample_kwargs=dict(inputs))
litert_model.export("bert.tflite")

outputs = litert_model(**{name: tensor.numpy() for name, tensor in inputs.items()})
mask_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
print(tokenizer.decode(outputs["logits"][0, mask_index].argmax()))  # capital

تكامل Transformers

1. تحمّل from_pretrained() أوزان النموذج بتنسيق safetensors.
2. تشغّل litert-torch torch.export وتخفض الرسم البياني إلى مشغّلات LiteRT. يضيف export_hf ذاكرة KV، وتوقيعات prefill وdecode، والتكميم int8.
3. يحمّل AutoTokenizer مُجزّئ النص. ثم يقوم export_hf بتغليفه مع قالب المحادثة داخل ملف .litertlm.
4. عند التشغيل، يعمل .tflite على LiteRT ويعمل .litertlm على LiteRT-LM، من Kotlin أو Swift أو C++ أو Python (ai-edge-litert وlitert-lm-api). وتتوقف عجلات tflite-runtime الأقدم عند Python 3.11.

وثّق إصدار Transformers v4 الأمر optimum-cli export tflite، الذي كان يقوم بالتحويل عبر TensorFlow. وقد تمّ إزالته مع دعم TensorFlow في الإصدار v5 (#40760)، وهو ليس جزءًا من Optimum 2.x.

الموارد

• توثيقات LiteRT وLiteRT-LM
• أدلة تحويل نماذج PyTorch ونماذج GenAI