Buckets:

|
download
raw
3.85 kB

استفاده از دیتاسِت حاشیه‌گذاری‌شده‌ی خود[[use-your-annotated-dataset]]

<CourseFloatingBanner chapter={10} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, ]} />

اکنون یاد می‌گیریم چگونه داده‌های حاشیه‌گذاری‌شده‌ی موجود در آرژیلا را صادر و استفاده کنیم.

بارگذاری دیتاسِت

ابتدا باید مانند مراحل قبل مطمئن شویم که به نمونه‌ی آرژیلا متصل هستیم:

import argilla as rg

HF_TOKEN = "..."  # only for private spaces

client = rg.Argilla(
    api_url="...",
    api_key="...",
    headers={"Authorization": f"Bearer {HF_TOKEN}"},  # only for private spaces
)

اکنون دیتاسِتی را که با آن کار می‌کنیم بارگذاری می‌کنیم:

dataset = client.datasets(name="ag_news")

بارگذاری دیتاسِت و فراخوانی رکوردهای آن با dataset.records برای شروع استفاده از دیتاسِت و رکوردها در کاربردها و خط‌های تولید خود کافی است. با این حال، چند عملیات اختیاری مانند فیلترکردن رکوردها و صادرکردن دیتاسِت به هاب هاگینگ‌فِیس را نیز یاد می‌گیریم.

فیلترکردن دیتاسِت

گاهی فقط می‌خواهید از رکوردهای تکمیل‌شده استفاده کنید؛ بنابراین ابتدا رکوردهای دیتاسِت را بر اساس وضعیتشان فیلتر می‌کنیم:

status_filter = rg.Query(filter=rg.Filter([("status", "==", "completed")]))

filtered_records = dataset.records(status_filter)

⚠️ توجه داشته باشید که رکوردهای دارای وضعیت completed (یعنی رکوردهایی که حداقل پاسخ‌های ارسالی پیکربندی شده در تنظیمات توزیع وظیفه را دارند) می‌توانند بیش از یک پاسخ داشته باشند و هر پاسخ می‌تواند هر وضعیتی از submitted، draft یا discarded داشته باشد.

درباره‌ی پرس‌وجو و فیلترکردن رکوردها در مستندات آرژیلا بیشتر بیاموزید.

صدور به هاب

اکنون می‌توانیم حاشیه‌گذاری‌های خود را به هاب هاگینگ‌فِیس صادر و با دیگران به اشتراک بگذاریم. برای این کار باید رکوردها را به یک دیتاسِت 🤗 تبدیل و سپس آن را به هاب ارسال کنیم:

filtered_records.to_datasets().push_to_hub("argilla/ag_news_annotated")

از طرف دیگر می‌توانیم دیتاسِت کامل آرژیلا (شامل رکوردهای در انتظار) را مستقیماً به این شکل صادر کنیم:

dataset.to_hub(repo_id="argilla/ag_news_annotated")

این گزینه زمانی جالب است که دیگران بخواهند دیتاسِت را در نمونه‌های آرژیلا خود باز کنند؛ زیرا تنظیمات به‌طور خودکار ذخیره می‌شوند و آن‌ها می‌توانند دیتاسِت کامل را با یک خط کد وارد کنند:

dataset = rg.Dataset.from_hub(repo_id="argilla/ag_news_annotated")

Xet Storage Details

Size:
3.85 kB
·
Xet hash:
f2ea91fba0e46a74d66f0dd7905694e92ac864a4c9447e18bc1e49bf481d6803

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.