Buckets:
| # استفاده از دیتاسِت حاشیهگذاریشدهی خود[[use-your-annotated-dataset]] | |
| <CourseFloatingBanner chapter={10} | |
| classNames="absolute z-10 right-0 top-0" | |
| notebooks={[ | |
| {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, | |
| {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section5.ipynb"}, | |
| ]} /> | |
| اکنون یاد میگیریم چگونه دادههای حاشیهگذاریشدهی موجود در آرژیلا را صادر و استفاده کنیم. | |
| ## بارگذاری دیتاسِت | |
| ابتدا باید مانند مراحل قبل مطمئن شویم که به نمونهی آرژیلا متصل هستیم: | |
| ```python | |
| import argilla as rg | |
| HF_TOKEN = "..." # only for private spaces | |
| client = rg.Argilla( | |
| api_url="...", | |
| api_key="...", | |
| headers={"Authorization": f"Bearer {HF_TOKEN}"}, # only for private spaces | |
| ) | |
| ``` | |
| اکنون دیتاسِتی را که با آن کار میکنیم بارگذاری میکنیم: | |
| ```python | |
| dataset = client.datasets(name="ag_news") | |
| ``` | |
| بارگذاری دیتاسِت و فراخوانی رکوردهای آن با `dataset.records` برای شروع استفاده از دیتاسِت و رکوردها در کاربردها و خطهای تولید خود کافی است. با این حال، چند عملیات اختیاری مانند فیلترکردن رکوردها و صادرکردن دیتاسِت به هاب هاگینگفِیس را نیز یاد میگیریم. | |
| ## فیلترکردن دیتاسِت | |
| گاهی فقط میخواهید از رکوردهای تکمیلشده استفاده کنید؛ بنابراین ابتدا رکوردهای دیتاسِت را بر اساس وضعیتشان فیلتر میکنیم: | |
| ```python | |
| status_filter = rg.Query(filter=rg.Filter([("status", "==", "completed")])) | |
| filtered_records = dataset.records(status_filter) | |
| ``` | |
| >[!TIP] | |
| >⚠️ توجه داشته باشید که رکوردهای دارای وضعیت `completed` (یعنی رکوردهایی که حداقل پاسخهای ارسالی پیکربندی شده در تنظیمات توزیع وظیفه را دارند) میتوانند بیش از یک پاسخ داشته باشند و هر پاسخ میتواند هر وضعیتی از `submitted`، `draft` یا `discarded` داشته باشد. | |
| دربارهی پرسوجو و فیلترکردن رکوردها در [مستندات آرژیلا](https://docs.argilla.io/latest/how_to_guides/query/) بیشتر بیاموزید. | |
| ## صدور به هاب | |
| اکنون میتوانیم حاشیهگذاریهای خود را به هاب هاگینگفِیس صادر و با دیگران به اشتراک بگذاریم. برای این کار باید رکوردها را به یک دیتاسِت 🤗 تبدیل و سپس آن را به هاب ارسال کنیم: | |
| ```python | |
| filtered_records.to_datasets().push_to_hub("argilla/ag_news_annotated") | |
| ``` | |
| از طرف دیگر میتوانیم دیتاسِت کامل آرژیلا (شامل رکوردهای در انتظار) را مستقیماً به این شکل صادر کنیم: | |
| ```python | |
| dataset.to_hub(repo_id="argilla/ag_news_annotated") | |
| ``` | |
| این گزینه زمانی جالب است که دیگران بخواهند دیتاسِت را در نمونههای آرژیلا خود باز کنند؛ زیرا تنظیمات بهطور خودکار ذخیره میشوند و آنها میتوانند دیتاسِت کامل را با یک خط کد وارد کنند: | |
| ```python | |
| dataset = rg.Dataset.from_hub(repo_id="argilla/ag_news_annotated") | |
| ``` | |
Xet Storage Details
- Size:
- 3.85 kB
- Xet hash:
- f2ea91fba0e46a74d66f0dd7905694e92ac864a4c9447e18bc1e49bf481d6803
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.