Buckets:

|
download
raw
31 kB

مشاركة النماذج المُدرَّبة مسبقًا[[sharing-pretrained-models]]

{#if fw === 'pt'}

<CourseFloatingBanner chapter={4} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter4/section3_pt.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter4/section3_pt.ipynb"}, ]} />

{:else}

<CourseFloatingBanner chapter={4} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter4/section3_tf.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter4/section3_tf.ipynb"}, ]} />

{/if}

في الخطوات التالية، سنلقي نظرة على أسهل الطرق لمشاركة النماذج المُدرَّبة مسبقًا (pretrained models) على الـ 🤗 Hub. تتوفر أدوات ووسائل مساعدة تُسهِّل مشاركة النماذج وتحديثها مباشرةً على الـ Hub، وسنستكشفها فيما يلي.

نشجّع جميع المستخدمين الذين يدرّبون النماذج على المساهمة بمشاركتها مع المجتمع (community)؛ فمشاركة النماذج، حتى تلك المُدرَّبة على مجموعات بيانات (datasets) شديدة التخصص، ستساعد الآخرين، إذ توفّر عليهم الوقت وموارد الحوسبة، وتتيح لهم الوصول إلى مخرجات تدريب مفيدة. وفي المقابل، يمكنك أنت أيضًا الاستفادة من العمل الذي أنجزه الآخرون!

هناك ثلاث طرق لإنشاء مستودعات نماذج (model repositories) جديدة:

  • باستخدام واجهة push_to_hub البرمجية (API)
  • باستخدام مكتبة huggingface_hub في Python
  • باستخدام واجهة الويب

بعد إنشاء المستودع، يمكنك رفع الملفات إليه عبر git و git-lfs. سنرشدك في الأقسام التالية خلال خطوات إنشاء مستودعات النماذج ورفع الملفات إليها.

استخدام واجهة push_to_hub البرمجية[[using-the-pushtohub-api]]

{#if fw === 'pt'}

{:else}

{/if}

أبسط طريقة لرفع الملفات إلى الـ Hub هي الاستفادة من واجهة push_to_hub البرمجية.

قبل المتابعة، ستحتاج إلى إنشاء رمز وصول (access token) للمصادقة، حتى تتعرّف واجهة huggingface_hub البرمجية على هويتك وعلى فضاءات الأسماء (namespaces) التي تملك صلاحية الكتابة فيها. تأكّد من أنك تعمل في بيئة مثبَّتة فيها مكتبة transformers (راجع الإعداد). إذا كنت تعمل في دفتر (notebook)، فيمكنك استخدام الدالة التالية لتسجيل الدخول:

from huggingface_hub import notebook_login

notebook_login()

أما في سطر الأوامر (terminal)، فيمكنك تشغيل:

huggingface-cli login

في كلتا الحالتين، سيُطلب منك إدخال اسم المستخدم وكلمة المرور، وهما نفسهما اللذان تستخدمهما لتسجيل الدخول إلى الـ Hub. إذا لم يكن لديك ملف شخصي على الـ Hub بعد، فعليك إنشاء واحد من هنا.

رائع! أصبح رمز الوصول الخاص بك مخزَّنًا الآن في مجلد ذاكرة التخزين المؤقت (cache). لننشئ بعض المستودعات!

{#if fw === 'pt'}

إذا كنت قد جرّبت واجهة Trainer البرمجية لتدريب نموذج، فإن أسهل طريقة لرفعه إلى الـ Hub هي ضبط push_to_hub=True عند تعريف TrainingArguments:

from transformers import TrainingArguments

training_args = TrainingArguments(
    "bert-finetuned-mrpc", save_strategy="epoch", push_to_hub=True
)

عند استدعاء trainer.train()، سيرفع Trainer نموذجك إلى الـ Hub في كل مرة يُحفَظ فيها (هنا في نهاية كل حقبة، أي epoch) داخل مستودع في فضاء الأسماء الخاص بك. سيحمل هذا المستودع اسم مجلد المخرجات الذي اخترته (هنا bert-finetuned-mrpc)، لكن يمكنك اختيار اسم مختلف باستخدام hub_model_id = "a_different_name".

لرفع نموذجك إلى منظمة (organization) أنت عضو فيها، يكفي تمرير اسمها عبر hub_model_id = "my_organization/my_repo_name".

بعد انتهاء التدريب، عليك تنفيذ trainer.push_to_hub() مرة أخيرة لرفع آخر إصدار من نموذجك. سيُنشئ ذلك أيضًا بطاقة نموذج (model card) تتضمن جميع البيانات الوصفية ذات الصلة، وتعرض المعاملات الفائقة (hyperparameters) المستخدمة ونتائج التقييم! إليك مثالًا على المحتوى الذي قد تجده في بطاقة نموذج كهذه:

{:else}

إذا كنت تستخدم Keras لتدريب نموذجك، فإن أسهل طريقة لرفعه إلى الـ Hub هي تمرير PushToHubCallback عند استدعاء model.fit():

from transformers import PushToHubCallback

callback = PushToHubCallback(
    "bert-finetuned-mrpc", save_strategy="epoch", tokenizer=tokenizer
)

بعد ذلك، عليك إضافة callbacks=[callback] في استدعائك لـ model.fit(). ستتولّى دالة الاستدعاء (callback) حينها رفع نموذجك إلى الـ Hub في كل مرة يُحفَظ فيها (هنا في نهاية كل حقبة، أي epoch) داخل مستودع في فضاء الأسماء الخاص بك. سيحمل هذا المستودع اسم مجلد المخرجات الذي اخترته (هنا bert-finetuned-mrpc)، لكن يمكنك اختيار اسم مختلف باستخدام hub_model_id = "a_different_name".

لرفع نموذجك إلى منظمة (organization) أنت عضو فيها، يكفي تمرير اسمها عبر hub_model_id = "my_organization/my_repo_name".

{/if}

على مستوى أدنى، يمكن الوصول إلى منصة النماذج (Model Hub) مباشرةً من كائنات النماذج والمُرمِّزات (tokenizers) والإعدادات (configuration) عبر تابعها (method) المسمّى push_to_hub(). يتولّى هذا التابع إنشاء المستودع ورفع ملفات النموذج والمُرمِّز مباشرةً إليه، دون الحاجة إلى أي معالجة يدوية، على عكس الواجهة البرمجية التي سنراها لاحقًا.

لتكوين فكرة عن طريقة عمله، لنبدأ أولًا بإنشاء نموذج ومُرمِّز:

{#if fw === 'pt'}

from transformers import AutoModelForMaskedLM, AutoTokenizer

checkpoint = "camembert-base"

model = AutoModelForMaskedLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

{:else}

from transformers import TFAutoModelForMaskedLM, AutoTokenizer

checkpoint = "camembert-base"

model = TFAutoModelForMaskedLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

{/if}

لك مطلق الحرية في فعل ما تشاء بهما: إضافة رموز (tokens) إلى المُرمِّز، أو تدريب النموذج، أو ضبطه ضبطًا دقيقًا (fine-tuning). وحين تصبح راضيًا عن النموذج الناتج وأوزانه (weights) والمُرمِّز، يمكنك الاستفادة من التابع push_to_hub() المتاح مباشرةً على الكائن model:

model.push_to_hub("dummy-model")

سيؤدي ذلك إلى إنشاء المستودع الجديد dummy-model في ملفك الشخصي، وملئه بملفات نموذجك. افعل الشيء نفسه مع المُرمِّز، لتصبح جميع الملفات متاحة الآن في هذا المستودع:

tokenizer.push_to_hub("dummy-model")

إذا كنت تنتمي إلى منظمة، فما عليك سوى تحديد الوسيط (argument) المسمّى organization للرفع إلى فضاء أسماء تلك المنظمة:

tokenizer.push_to_hub("dummy-model", organization="huggingface")

وإذا أردت استخدام رمز وصول معيّن من Hugging Face، فيمكنك أيضًا تمريره إلى التابع push_to_hub():

tokenizer.push_to_hub("dummy-model", organization="huggingface", use_auth_token="<TOKEN>")

توجّه الآن إلى منصة النماذج لتجد نموذجك الذي رفعته للتو: https://huggingface.co/user-or-organization/dummy-model.

انقر على تبويب "Files and versions" (الملفات والإصدارات)، وسترى الملفات الظاهرة في لقطة الشاشة التالية:

{#if fw === 'pt'}

{:else}

{/if}

✏️ جرّبها بنفسك! خذ النموذج والمُرمِّز المرتبطين بنقطة الحفظ (checkpoint) المسمّاة bert-base-cased وارفعهما إلى مستودع في فضاء الأسماء الخاص بك باستخدام التابع push_to_hub(). تحقّق جيدًا من ظهور المستودع بشكل صحيح في صفحتك قبل حذفه.

كما رأيت، يقبل التابع push_to_hub() عدة وسائط، ما يتيح الرفع إلى مستودع محدد أو إلى فضاء أسماء منظمة، أو استخدام رمز وصول مختلف للواجهة البرمجية. نوصيك بالاطلاع على توصيف هذا التابع المتاح مباشرةً في توثيق 🤗 Transformers لتكوين فكرة عمّا هو ممكن.

يعتمد التابع push_to_hub() على حزمة Python المسماة huggingface_hub، التي توفر واجهة برمجية مباشرة للتعامل مع Hugging Face Hub. وهي مدمجة في 🤗 Transformers وفي عدد من مكتبات تعلّم الآلة (machine learning) الأخرى، مثل allenlp. ومع أننا نركّز في هذا الفصل على تكاملها مع 🤗 Transformers، فإن دمجها في الكود أو المكتبة الخاصة بك أمر بسيط.

انتقل إلى القسم الأخير لترى كيفية رفع الملفات إلى مستودعك الذي أنشأته حديثًا!

استخدام مكتبة huggingface_hub في Python[[using-the-huggingfacehub-python-library]]

مكتبة huggingface_hub في Python هي حزمة توفر مجموعة من الأدوات لمنصتَي النماذج ومجموعات البيانات. وهي تقدّم توابع وأصنافًا (classes) بسيطة للمهام الشائعة، مثل الحصول على معلومات حول المستودعات على الـ Hub وإدارتها. كما توفر واجهات برمجية بسيطة تعمل فوق git لإدارة محتوى تلك المستودعات ولدمج الـ Hub في مشاريعك ومكتباتك.

على غرار استخدام واجهة push_to_hub البرمجية، يتطلب هذا أن يكون رمز الوصول الخاص بك محفوظًا في ذاكرة التخزين المؤقت. ولتحقيق ذلك، ستحتاج إلى استخدام الأمر login من واجهة سطر الأوامر (CLI)، كما ذكرنا في القسم السابق (ومرة أخرى، تأكد من إضافة الحرف ! قبل هذه الأوامر إذا كنت تعمل في Google Colab):

huggingface-cli login

توفر حزمة huggingface_hub عدة توابع وأصناف مفيدة لغرضنا. أولًا، هناك بعض التوابع لإدارة إنشاء المستودعات وحذفها وغير ذلك:

from huggingface_hub import (
    # User management
    login,
    logout,
    whoami,

    # Repository creation and management
    create_repo,
    delete_repo,
    update_repo_visibility,

    # And some methods to retrieve/change information about the content
    list_models,
    list_datasets,
    list_metrics,
    list_repo_files,
    upload_file,
    delete_file,
)

بالإضافة إلى ذلك، توفر الحزمة الصنف Repository القوي جدًا لإدارة مستودع محلي. سنستكشف هذه التوابع وهذا الصنف في الأقسام القليلة التالية لفهم كيفية الاستفادة منها.

يمكن استخدام التابع create_repo لإنشاء مستودع جديد على الـ Hub:

from huggingface_hub import create_repo

create_repo("dummy-model")

سيؤدي ذلك إلى إنشاء المستودع dummy-model في فضاء الأسماء الخاص بك. ويمكنك، إن أردت، تحديد المنظمة التي سينتمي إليها المستودع باستخدام الوسيط organization:

from huggingface_hub import create_repo

create_repo("dummy-model", organization="huggingface")

سيؤدي ذلك إلى إنشاء المستودع dummy-model في فضاء الأسماء huggingface، على افتراض أنك تنتمي إلى تلك المنظمة. ومن الوسائط الأخرى التي قد تكون مفيدة:

  • private: لتحديد ما إذا كان المستودع مرئيًا للآخرين أم لا.
  • token: إذا أردت استبدال رمز الوصول المخزَّن في ذاكرة التخزين المؤقت برمز آخر تحدده.
  • repo_type: إذا أردت إنشاء dataset (مجموعة بيانات) أو space (مساحة) بدلًا من نموذج. القيم المقبولة هي "dataset" و "space".

بعد إنشاء المستودع، علينا إضافة الملفات إليه! انتقل إلى القسم التالي لترى الطرق الثلاث للقيام بذلك.

استخدام واجهة الويب[[using-the-web-interface]]

توفر واجهة الويب أدوات لإدارة المستودعات مباشرةً على الـ Hub. وباستخدامها، يمكنك بسهولة إنشاء المستودعات، وإضافة الملفات (حتى الكبيرة منها!)، واستكشاف النماذج، وعرض الفروقات (diffs)، وغير ذلك الكثير.

لإنشاء مستودع جديد، تفضّل بزيارة huggingface.co/new:

أولًا، حدّد مالك المستودع: يمكن أن يكون أنت أو أيًّا من المنظمات التي تنتمي إليها. إذا اخترت منظمة، فسيُعرَض النموذج على صفحة المنظمة، وسيكون بمقدور كل عضو فيها المساهمة في المستودع.

بعد ذلك، أدخل اسم نموذجك، وسيكون هذا أيضًا اسم المستودع. وأخيرًا، يمكنك تحديد ما إذا كنت تريد أن يكون نموذجك عامًّا أو خاصًّا. النماذج الخاصة تكون مخفية عن العامة.

بعد إنشاء مستودع نموذجك، من المفترض أن ترى صفحة كهذه:

هنا سيُستضاف نموذجك. ولتبدأ في ملئه، يمكنك إضافة ملف README مباشرةً من واجهة الويب.

ملف README مكتوب بلغة Markdown، فلا تتردد في إطلاق العنان لإبداعك فيه! الجزء الثالث من هذا الفصل مخصص لإنشاء بطاقة النموذج (model card). تحظى هذه البطاقات بأهمية بالغة في إبراز قيمة نموذجك، فهي المكان الذي تخبر فيه الآخرين بما يستطيع فعله.

إذا نظرت إلى تبويب "Files and versions"، فسترى أنه لا يحتوي على ملفات كثيرة بعد: فقط ملف README.md الذي أنشأته للتو، وملف .gitattributes الذي يتتبّع الملفات الكبيرة.

سنلقي نظرة بعد ذلك على كيفية إضافة ملفات جديدة.

رفع ملفات النموذج[[uploading-the-model-files]]

يعتمد نظام إدارة الملفات على Hugging Face Hub على git للملفات العادية، وعلى git-lfs (اختصار لـ Git Large File Storage، أي نظام Git لتخزين الملفات الكبيرة) للملفات الأكبر حجمًا.

في القسم التالي، نستعرض ثلاث طرق مختلفة لرفع الملفات إلى الـ Hub: عبر huggingface_hub وعبر أوامر git.

طريقة upload_file[[the-uploadfile-approach]]

لا يتطلب استخدام upload_file تثبيت git و git-lfs على نظامك، إذ يرفع الملفات مباشرةً إلى الـ 🤗 Hub باستخدام طلبات HTTP POST. ومن قيود هذه الطريقة أنها لا تتعامل مع الملفات التي يتجاوز حجمها 5GB. إذا كانت ملفاتك أكبر من 5GB، فيُرجى اتباع إحدى الطريقتين الأخريين الموضحتين أدناه.

يمكن استخدام هذه الواجهة البرمجية على النحو التالي:

from huggingface_hub import upload_file

upload_file(
    "<path_to_file>/config.json",
    path_in_repo="config.json",
    repo_id="<namespace>/dummy-model",
)

سيؤدي ذلك إلى رفع الملف config.json الموجود في <path_to_file> إلى جذر المستودع dummy-model باسم config.json. ومن الوسائط الأخرى التي قد تكون مفيدة:

  • token: إذا أردت استبدال رمز الوصول المخزَّن في ذاكرة التخزين المؤقت برمز آخر تحدده.
  • repo_type: إذا أردت الرفع إلى dataset (مجموعة بيانات) أو space (مساحة) بدلًا من نموذج. القيم المقبولة هي "dataset" و "space".

الصنف Repository[[the-repository-class]]

يدير الصنف Repository مستودعًا محليًا بأسلوب مشابه لـ git. فهو يُخفي معظم الصعوبات التي قد يواجهها المرء مع git، ويوفّر جميع الميزات التي نحتاج إليها.

يتطلب استخدام هذا الصنف تثبيت git و git-lfs، لذا تأكد من تثبيت git-lfs (راجع هنا للاطلاع على تعليمات التثبيت) وإعداده قبل أن تبدأ.

للبدء في التعامل مع المستودع الذي أنشأناه للتو، يمكننا أولًا تهيئته في مجلد محلي عن طريق استنساخ (clone) المستودع البعيد:

from huggingface_hub import Repository

repo = Repository("<path_to_dummy_folder>", clone_from="<namespace>/dummy-model")

أدى ذلك إلى إنشاء المجلد <path_to_dummy_folder> في مجلد العمل لدينا. لا يحتوي هذا المجلد إلا على الملف .gitattributes، لأنه الملف الوحيد الذي يُولَّد عند إنشاء المستودع عبر create_repo.

ومن الآن فصاعدًا، يمكننا الاستفادة من عدد من توابع git التقليدية:

repo.git_pull()
repo.git_add()
repo.git_commit()
repo.git_push()
repo.git_tag()

وغيرها! نوصيك بالاطلاع على توثيق Repository المتاح هنا للحصول على نظرة عامة على جميع التوابع المتاحة.

لدينا حاليًا نموذج ومُرمِّز نرغب في رفعهما إلى الـ Hub. وبما أننا استنسخنا المستودع بنجاح، يمكننا الآن حفظ الملفات داخله.

نتأكد أولًا من أن نسختنا المحلية محدَّثة عن طريق سحب (pull) آخر التغييرات:

repo.git_pull()

بعد ذلك، نحفظ ملفات النموذج والمُرمِّز:

model.save_pretrained("<path_to_dummy_folder>")
tokenizer.save_pretrained("<path_to_dummy_folder>")

يحتوي المجلد <path_to_dummy_folder> الآن على جميع ملفات النموذج والمُرمِّز. نتّبع سير عمل git المعتاد: نضيف الملفات إلى منطقة التجهيز (staging area)، ثم نُجري إيداعًا (commit) لها، ثم ندفعها (push) إلى الـ Hub:

repo.git_add()
repo.git_commit("Add model and tokenizer files")
repo.git_push()

تهانينا! لقد دفعت للتو أول ملفاتك إلى الـ Hub.

الطريقة القائمة على git[[the-git-based-approach]]

هذه هي الطريقة الأدنى مستوى والأقل تجريدًا لرفع الملفات: سنستخدم git و git-lfs مباشرةً. تُخفي الطرق السابقة معظم الصعوبات، لكن هناك بعض المحاذير في الطريقة التالية، لذا سنتّبع حالة استخدام أكثر تعقيدًا.

يتطلب استخدام هذا الصنف تثبيت git و git-lfs، لذا تأكد من تثبيت git-lfs (راجع هنا للاطلاع على تعليمات التثبيت) وإعداده قبل أن تبدأ.

ابدأ أولًا بتهيئة git-lfs:

git lfs install
Updated git hooks.
Git LFS initialized.

بعد ذلك، تكون الخطوة الأولى استنساخ مستودع نموذجك:

git clone https://huggingface.co/<namespace>/<your-model-id>

اسم المستخدم الخاص بي هو lysandre، وقد استخدمت اسم النموذج dummy، لذا يصبح الأمر لديّ على النحو التالي:

git clone https://huggingface.co/lysandre/dummy

أصبح لديّ الآن مجلد باسم dummy في مجلد العمل. يمكنني الانتقال إليه باستخدام cd وإلقاء نظرة على محتوياته:

cd dummy && ls
README.md

إذا كنت قد أنشأت مستودعك للتو باستخدام التابع create_repo من Hugging Face Hub، فمن المفترض ألّا يحتوي هذا المجلد إلا على ملف .gitattributes مخفي. أما إذا اتبعت التعليمات الواردة في القسم السابق لإنشاء مستودع باستخدام واجهة الويب، فمن المفترض أن يحتوي المجلد على ملف README.md واحد إلى جانب ملف .gitattributes المخفي، كما هو موضح هنا.

يُضاف الملف ذو الحجم العادي، مثل ملف إعدادات أو ملف مفردات (vocabulary) أو أي ملف لا يتجاوز حجمه بضعة ميغابايتات، تمامًا كما يُضاف في أي نظام قائم على git. أما الملفات الأكبر حجمًا، فيجب تسجيلها عبر git-lfs حتى يمكن دفعها إلى huggingface.co.

لنعد إلى Python قليلًا لإنشاء نموذج ومُرمِّز نرغب في إيداعهما في مستودعنا التجريبي:

{#if fw === 'pt'}

from transformers import AutoModelForMaskedLM, AutoTokenizer

checkpoint = "camembert-base"

model = AutoModelForMaskedLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

# Do whatever with the model, train it, fine-tune it...

model.save_pretrained("<path_to_dummy_folder>")
tokenizer.save_pretrained("<path_to_dummy_folder>")

{:else}

from transformers import TFAutoModelForMaskedLM, AutoTokenizer

checkpoint = "camembert-base"

model = TFAutoModelForMaskedLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

# Do whatever with the model, train it, fine-tune it...

model.save_pretrained("<path_to_dummy_folder>")
tokenizer.save_pretrained("<path_to_dummy_folder>")

{/if}

الآن بعد أن حفظنا بعض ملفات النموذج والمُرمِّز، لنلقِ نظرة أخرى على المجلد dummy:

ls

{#if fw === 'pt'}

config.json  pytorch_model.bin  README.md  sentencepiece.bpe.model  special_tokens_map.json tokenizer_config.json  tokenizer.json

إذا نظرت إلى أحجام الملفات (مثلًا باستخدام ls -lh)، فسترى أن ملف قاموس حالة النموذج (model state dict)، أي pytorch_model.bin، هو الاستثناء الوحيد، إذ يتجاوز حجمه 400 MB.

{:else}

config.json  README.md  sentencepiece.bpe.model  special_tokens_map.json  tf_model.h5  tokenizer_config.json  tokenizer.json

إذا نظرت إلى أحجام الملفات (مثلًا باستخدام ls -lh)، فسترى أن ملف قاموس حالة النموذج (model state dict)، أي t5_model.h5، هو الاستثناء الوحيد، إذ يتجاوز حجمه 400 MB.

{/if}

✏️ عند إنشاء المستودع من واجهة الويب، يُضبَط الملف .gitattributes تلقائيًا بحيث تُعامَل الملفات ذات امتدادات معيّنة، مثل .bin و .h5، على أنها ملفات كبيرة، وسيتتبّعها git-lfs دون الحاجة إلى أي إعداد من جانبك.

يمكننا الآن المتابعة كما نفعل عادةً مع مستودعات Git التقليدية. يمكننا إضافة جميع الملفات إلى منطقة التجهيز في Git باستخدام الأمر git add:

git add .

يمكننا بعد ذلك إلقاء نظرة على الملفات الموجودة حاليًا في منطقة التجهيز:

git status

{#if fw === 'pt'}

On branch main
Your branch is up to date with 'origin/main'.

Changes to be committed:
  (use "git restore --staged <file>..." to unstage)
  modified:   .gitattributes
    new file:   config.json
    new file:   pytorch_model.bin
    new file:   sentencepiece.bpe.model
    new file:   special_tokens_map.json
    new file:   tokenizer.json
    new file:   tokenizer_config.json

{:else}

On branch main
Your branch is up to date with 'origin/main'.

Changes to be committed:
  (use "git restore --staged <file>..." to unstage)
  modified:   .gitattributes
      new file:   config.json
    new file:   sentencepiece.bpe.model
    new file:   special_tokens_map.json
    new file:   tf_model.h5
    new file:   tokenizer.json
    new file:   tokenizer_config.json

{/if}

وبالمثل، يمكننا التأكد من أن git-lfs يتتبّع الملفات الصحيحة باستخدام الأمر status الخاص به:

git lfs status

{#if fw === 'pt'}

On branch main
Objects to be pushed to origin/main:

Objects to be committed:

    config.json (Git: bc20ff2)
    pytorch_model.bin (LFS: 35686c2)
    sentencepiece.bpe.model (LFS: 988bc5a)
    special_tokens_map.json (Git: cb23931)
    tokenizer.json (Git: 851ff3e)
    tokenizer_config.json (Git: f0f7783)

Objects not staged for commit:

نلاحظ أن Git هو المسؤول عن معالجة جميع الملفات، باستثناء pytorch_model.bin و sentencepiece.bpe.model اللذين يعالجهما LFS. رائع!

{:else}

On branch main
Objects to be pushed to origin/main:

Objects to be committed:

    config.json (Git: bc20ff2)
    sentencepiece.bpe.model (LFS: 988bc5a)
    special_tokens_map.json (Git: cb23931)
    tf_model.h5 (LFS: 86fce29)
    tokenizer.json (Git: 851ff3e)
    tokenizer_config.json (Git: f0f7783)

Objects not staged for commit:

نلاحظ أن Git هو المسؤول عن معالجة جميع الملفات، باستثناء t5_model.h5 الذي يعالجه LFS. رائع!

{/if}

لننتقل إلى الخطوات الأخيرة: إجراء الإيداع ثم الدفع إلى المستودع البعيد على huggingface.co:

git commit -m "First model version"

{#if fw === 'pt'}

[main b08aab1] First model version
 7 files changed, 29027 insertions(+)
  6 files changed, 36 insertions(+)
 create mode 100644 config.json
 create mode 100644 pytorch_model.bin
 create mode 100644 sentencepiece.bpe.model
 create mode 100644 special_tokens_map.json
 create mode 100644 tokenizer.json
 create mode 100644 tokenizer_config.json

{:else}

[main b08aab1] First model version
 6 files changed, 36 insertions(+)
 create mode 100644 config.json
 create mode 100644 sentencepiece.bpe.model
 create mode 100644 special_tokens_map.json
 create mode 100644 tf_model.h5
 create mode 100644 tokenizer.json
 create mode 100644 tokenizer_config.json

{/if}

قد يستغرق الدفع بعض الوقت، تبعًا لسرعة اتصالك بالإنترنت وحجم ملفاتك:

git push
Uploading LFS objects: 100% (1/1), 433 MB | 1.3 MB/s, done.
Enumerating objects: 11, done.
Counting objects: 100% (11/11), done.
Delta compression using up to 12 threads
Compressing objects: 100% (9/9), done.
Writing objects: 100% (9/9), 288.27 KiB | 6.27 MiB/s, done.
Total 9 (delta 1), reused 0 (delta 0), pack-reused 0
To https://huggingface.co/lysandre/dummy
   891b41d..b08aab1  main -> main

{#if fw === 'pt'}

إذا ألقينا نظرة على مستودع النموذج بعد انتهاء ذلك، فسنرى جميع الملفات المضافة حديثًا:

تتيح لك واجهة المستخدم استكشاف ملفات النموذج والإيداعات، والاطلاع على الفروقات التي أدخلها كل إيداع:

{:else}

إذا ألقينا نظرة على مستودع النموذج بعد انتهاء ذلك، فسنرى جميع الملفات المضافة حديثًا:

تتيح لك واجهة المستخدم استكشاف ملفات النموذج والإيداعات، والاطلاع على الفروقات التي أدخلها كل إيداع:

{/if}

Xet Storage Details

Size:
31 kB
·
Xet hash:
8b9bea01502b0cbe5aae71298e520ca98d174417ce44e22e236449a7a12640fa

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.