Buckets:
استفاده از دیتاسِت حاشیهگذاریشدهی خود[[use-your-annotated-dataset]]
<CourseFloatingBanner chapter={10} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, ]} />
اکنون یاد میگیریم چگونه دادههای حاشیهگذاریشدهی موجود در آرژیلا را صادر و استفاده کنیم.
بارگذاری دیتاسِت
ابتدا باید مانند مراحل قبل مطمئن شویم که به نمونهی آرژیلا متصل هستیم:
import argilla as rg
HF_TOKEN = "..." # only for private spaces
client = rg.Argilla(
api_url="...",
api_key="...",
headers={"Authorization": f"Bearer {HF_TOKEN}"}, # only for private spaces
)
اکنون دیتاسِتی را که با آن کار میکنیم بارگذاری میکنیم:
dataset = client.datasets(name="ag_news")
بارگذاری دیتاسِت و فراخوانی رکوردهای آن با dataset.records برای شروع استفاده از دیتاسِت و رکوردها در کاربردها و خطهای تولید خود کافی است. با این حال، چند عملیات اختیاری مانند فیلترکردن رکوردها و صادرکردن دیتاسِت به هاب هاگینگفِیس را نیز یاد میگیریم.
فیلترکردن دیتاسِت
گاهی فقط میخواهید از رکوردهای تکمیلشده استفاده کنید؛ بنابراین ابتدا رکوردهای دیتاسِت را بر اساس وضعیتشان فیلتر میکنیم:
status_filter = rg.Query(filter=rg.Filter([("status", "==", "completed")]))
filtered_records = dataset.records(status_filter)
⚠️ توجه داشته باشید که رکوردهای دارای وضعیت
completed(یعنی رکوردهایی که حداقل پاسخهای ارسالی پیکربندی شده در تنظیمات توزیع وظیفه را دارند) میتوانند بیش از یک پاسخ داشته باشند و هر پاسخ میتواند هر وضعیتی ازsubmitted،draftیاdiscardedداشته باشد.
دربارهی پرسوجو و فیلترکردن رکوردها در مستندات آرژیلا بیشتر بیاموزید.
صدور به هاب
اکنون میتوانیم حاشیهگذاریهای خود را به هاب هاگینگفِیس صادر و با دیگران به اشتراک بگذاریم. برای این کار باید رکوردها را به یک دیتاسِت 🤗 تبدیل و سپس آن را به هاب ارسال کنیم:
filtered_records.to_datasets().push_to_hub("argilla/ag_news_annotated")
از طرف دیگر میتوانیم دیتاسِت کامل آرژیلا (شامل رکوردهای در انتظار) را مستقیماً به این شکل صادر کنیم:
dataset.to_hub(repo_id="argilla/ag_news_annotated")
این گزینه زمانی جالب است که دیگران بخواهند دیتاسِت را در نمونههای آرژیلا خود باز کنند؛ زیرا تنظیمات بهطور خودکار ذخیره میشوند و آنها میتوانند دیتاسِت کامل را با یک خط کد وارد کنند:
dataset = rg.Dataset.from_hub(repo_id="argilla/ag_news_annotated")
Xet Storage Details
- Size:
- 3.85 kB
- Xet hash:
- f2ea91fba0e46a74d66f0dd7905694e92ac864a4c9447e18bc1e49bf481d6803
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.