Buckets:
| # دیتاسِت خود را در آرژیلا بارگذاری کنید[[load-your-dataset-to-argilla]] | |
| <CourseFloatingBanner chapter={10} | |
| classNames="absolute z-10 right-0 top-0" | |
| notebooks={[ | |
| {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb"}, | |
| {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb"}, | |
| ]} /> | |
| بسته به وظیفهی NLP و کاربرد یا مسئلهی خاصی که روی آن کار میکنید، دادهها و وظیفهی حاشیهگذاری شما شکل متفاوتی خواهند داشت. در این بخش از دوره، از [دیتاسِتی شامل خبرها](https://huggingface.co/datasets/SetFit/ag_news) برای انجام دو وظیفه استفاده میکنیم: دستهبندی متن بر اساس موضوع هر متن و دستهبندی توکِن برای شناسایی موجودیتهای نامگذاریشده. | |
| <iframe | |
| src="https://huggingface.co/datasets/SetFit/ag_news/embed/viewer/default/train" | |
| frameborder="0" | |
| width="100%" | |
| height="560px" | |
| > | |
| میتوان دیتاسِتها را مستقیماً با رابط کاربری آرژیلا از هاب وارد کرد، اما برای یادگیری نحوهی ویرایش بیشتر دادهها در صورت نیاز، از SDK استفاده میکنیم. | |
| ## پیکربندی دیتاسِت | |
| نخستین گام این است که مانند بخش قبل به نمونهی آرژیلا متصل شویم: | |
| ```python | |
| import argilla as rg | |
| HF_TOKEN = "..." # only for private spaces | |
| client = rg.Argilla( | |
| api_url="...", | |
| api_key="...", | |
| headers={"Authorization": f"Bearer {HF_TOKEN}"}, # only for private spaces | |
| ) | |
| ``` | |
| اکنون میتوانیم دربارهی تنظیمات دیتاسِت خود در آرژیلا فکر کنیم. این تنظیمات وظیفهی حاشیهگذاری را که روی دادهها انجام میدهیم مشخص میکنند. ابتدا دیتاسِت را از هاب بارگذاری و ویژگیهای آن را بررسی میکنیم تا مطمئن شویم دیتاسِت را درست پیکربندی میکنیم. | |
| ```python | |
| from datasets import load_dataset | |
| data = load_dataset("SetFit/ag_news", split="train") | |
| data.features | |
| ``` | |
| اینها ویژگیهای دیتاسِت ما هستند: | |
| ```python out | |
| {'text': Value(dtype='string', id=None), | |
| 'label': Value(dtype='int64', id=None), | |
| 'label_text': Value(dtype='string', id=None)} | |
| ``` | |
| این دیتاسِت یک `text` و همچنین چند برچسب اولیه برای دستهبندی متن دارد. آنها را همراه با یک پرسش `spans` برای موجودیتهای نامگذاریشده به تنظیمات دیتاسِت خود اضافه میکنیم: | |
| ```python | |
| settings = rg.Settings( | |
| fields=[rg.TextField(name="text")], | |
| questions=[ | |
| rg.LabelQuestion( | |
| name="label", title="Classify the text:", labels=data.unique("label_text") | |
| ), | |
| rg.SpanQuestion( | |
| name="entities", | |
| title="Highlight all the entities in the text:", | |
| labels=["PERSON", "ORG", "LOC", "EVENT"], | |
| field="text", | |
| ), | |
| ], | |
| ) | |
| ``` | |
| بیایید کمی دقیقتر معنای این تنظیمات را بررسی کنیم. ابتدا **فیلدها** را تعریف کردهایم؛ فیلدها اطلاعاتی را دربرمیگیرند که حاشیهگذاری میکنیم. در اینجا فقط یک فیلد داریم که به شکل متن است، بنابراین `TextField` را انتخاب کردهایم. | |
| سپس **پرسشهایی** را تعریف میکنیم که وظایفی را نشان میدهند که میخواهیم روی دادهها انجام دهیم: | |
| - برای وظیفهی دستهبندی متن، `LabelQuestion` را انتخاب کردهایم و از مقادیر منحصربهفرد ستون `label_text` بهعنوان برچسبها استفاده کردهایم تا پرسش با برچسبهای موجود در دیتاسِت سازگار باشد. | |
| - برای وظیفهی دستهبندی توکِن، به `SpanQuestion` نیاز داریم. مجموعهای از برچسبها را برای این وظیفه و همچنین فیلدی را تعریف کردهایم که گسترهها را روی آن مشخص میکنیم. | |
| برای اطلاعات بیشتر دربارهی انواع فیلدها و پرسشهای موجود و تنظیمات پیشرفتهی دیگری مانند فراداده و بردارها، به [مستندات آرژیلا](https://docs.argilla.io/latest/how_to_guides/dataset/#define-dataset-settings) بروید. | |
| ## بارگذاری دیتاسِت | |
| اکنون که تنظیمات را تعریف کردهایم، میتوانیم دیتاسِت را ایجاد کنیم: | |
| ```python | |
| dataset = rg.Dataset(name="ag_news", settings=settings) | |
| dataset.create() | |
| ``` | |
| دیتاسِت اکنون در نمونهی آرژیلا ظاهر میشود، اما میبینید که خالی است: | |
| اکنون باید رکوردهایی را که حاشیهگذاری میکنیم، یعنی ردیفهای دیتاسِت، اضافه کنیم. برای این کار کافی است دادهها را بهصورت رکورد ثبت کنیم و برای عناصری که در دیتاسِت هاب و دیتاسِت آرژیلا نام یکسانی ندارند، نگاشتی ارائه دهیم: | |
| ```python | |
| dataset.records.log(data, mapping={"label_text": "label"}) | |
| ``` | |
| در نگاشت خود مشخص کردهایم که ستون `label_text` دیتاسِت باید به پرسش با نام `label` نگاشت شود. به این ترتیب از برچسبهای موجود در دیتاسِت بهعنوان حاشیهگذاری اولیه استفاده میکنیم تا سریعتر حاشیهگذاری کنیم. | |
| در حالی که ثبت رکوردها ادامه دارد، میتوانید کار با دیتاسِت خود را در رابط کاربری آرژیلا شروع کنید. در این مرحله باید ظاهری مانند تصویر زیر داشته باشد: | |
| اکنون دیتاسِت ما برای شروع حاشیهگذاری آماده است! | |
Xet Storage Details
- Size:
- 6.66 kB
- Xet hash:
- e4d2954ffce92296756f2fb136b9ea8b42ace49ccb98cc1d9151ce5a148ae368
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.