Buckets:

|
download
raw
6.66 kB
# دیتاسِت خود را در آرژیلا بارگذاری کنید[[load-your-dataset-to-argilla]]
<CourseFloatingBanner chapter={10}
classNames="absolute z-10 right-0 top-0"
notebooks={[
{label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb"},
{label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb"},
]} />
بسته به وظیفه‌ی NLP و کاربرد یا مسئله‌ی خاصی که روی آن کار می‌کنید، داده‌ها و وظیفه‌ی حاشیه‌گذاری شما شکل متفاوتی خواهند داشت. در این بخش از دوره، از [دیتاسِتی شامل خبرها](https://huggingface.co/datasets/SetFit/ag_news) برای انجام دو وظیفه استفاده می‌کنیم: دسته‌بندی متن بر اساس موضوع هر متن و دسته‌بندی توکِن برای شناسایی موجودیت‌های نام‌گذاری‌شده.
<iframe
src="https://huggingface.co/datasets/SetFit/ag_news/embed/viewer/default/train"
frameborder="0"
width="100%"
height="560px"
>
می‌توان دیتاسِت‌ها را مستقیماً با رابط کاربری آرژیلا از هاب وارد کرد، اما برای یادگیری نحوه‌ی ویرایش بیشتر داده‌ها در صورت نیاز، از SDK استفاده می‌کنیم.
## پیکربندی دیتاسِت
نخستین گام این است که مانند بخش قبل به نمونه‌ی آرژیلا متصل شویم:
```python
import argilla as rg
HF_TOKEN = "..." # only for private spaces
client = rg.Argilla(
api_url="...",
api_key="...",
headers={"Authorization": f"Bearer {HF_TOKEN}"}, # only for private spaces
)
```
اکنون می‌توانیم درباره‌ی تنظیمات دیتاسِت خود در آرژیلا فکر کنیم. این تنظیمات وظیفه‌ی حاشیه‌گذاری را که روی داده‌ها انجام می‌دهیم مشخص می‌کنند. ابتدا دیتاسِت را از هاب بارگذاری و ویژگی‌های آن را بررسی می‌کنیم تا مطمئن شویم دیتاسِت را درست پیکربندی می‌کنیم.
```python
from datasets import load_dataset
data = load_dataset("SetFit/ag_news", split="train")
data.features
```
این‌ها ویژگی‌های دیتاسِت ما هستند:
```python out
{'text': Value(dtype='string', id=None),
'label': Value(dtype='int64', id=None),
'label_text': Value(dtype='string', id=None)}
```
این دیتاسِت یک `text` و همچنین چند برچسب اولیه برای دسته‌بندی متن دارد. آن‌ها را همراه با یک پرسش `spans` برای موجودیت‌های نام‌گذاری‌شده به تنظیمات دیتاسِت خود اضافه می‌کنیم:
```python
settings = rg.Settings(
fields=[rg.TextField(name="text")],
questions=[
rg.LabelQuestion(
name="label", title="Classify the text:", labels=data.unique("label_text")
),
rg.SpanQuestion(
name="entities",
title="Highlight all the entities in the text:",
labels=["PERSON", "ORG", "LOC", "EVENT"],
field="text",
),
],
)
```
بیایید کمی دقیق‌تر معنای این تنظیمات را بررسی کنیم. ابتدا **فیلدها** را تعریف کرده‌ایم؛ فیلدها اطلاعاتی را دربرمی‌گیرند که حاشیه‌گذاری می‌کنیم. در اینجا فقط یک فیلد داریم که به شکل متن است، بنابراین `TextField` را انتخاب کرده‌ایم.
سپس **پرسش‌هایی** را تعریف می‌کنیم که وظایفی را نشان می‌دهند که می‌خواهیم روی داده‌ها انجام دهیم:
- برای وظیفه‌ی دسته‌بندی متن، `LabelQuestion` را انتخاب کرده‌ایم و از مقادیر منحصربه‌فرد ستون `label_text` به‌عنوان برچسب‌ها استفاده کرده‌ایم تا پرسش با برچسب‌های موجود در دیتاسِت سازگار باشد.
- برای وظیفه‌ی دسته‌بندی توکِن، به `SpanQuestion` نیاز داریم. مجموعه‌ای از برچسب‌ها را برای این وظیفه و همچنین فیلدی را تعریف کرده‌ایم که گستره‌ها را روی آن مشخص می‌کنیم.
برای اطلاعات بیشتر درباره‌ی انواع فیلدها و پرسش‌های موجود و تنظیمات پیشرفته‌ی دیگری مانند فراداده و بردارها، به [مستندات آرژیلا](https://docs.argilla.io/latest/how_to_guides/dataset/#define-dataset-settings) بروید.
## بارگذاری دیتاسِت
اکنون که تنظیمات را تعریف کرده‌ایم، می‌توانیم دیتاسِت را ایجاد کنیم:
```python
dataset = rg.Dataset(name="ag_news", settings=settings)
dataset.create()
```
دیتاسِت اکنون در نمونه‌ی آرژیلا ظاهر می‌شود، اما می‌بینید که خالی است:
اکنون باید رکوردهایی را که حاشیه‌گذاری می‌کنیم، یعنی ردیف‌های دیتاسِت، اضافه کنیم. برای این کار کافی است داده‌ها را به‌صورت رکورد ثبت کنیم و برای عناصری که در دیتاسِت هاب و دیتاسِت آرژیلا نام یکسانی ندارند، نگاشتی ارائه دهیم:
```python
dataset.records.log(data, mapping={"label_text": "label"})
```
در نگاشت خود مشخص کرده‌ایم که ستون `label_text` دیتاسِت باید به پرسش با نام `label` نگاشت شود. به این ترتیب از برچسب‌های موجود در دیتاسِت به‌عنوان حاشیه‌گذاری اولیه استفاده می‌کنیم تا سریع‌تر حاشیه‌گذاری کنیم.
در حالی که ثبت رکوردها ادامه دارد، می‌توانید کار با دیتاسِت خود را در رابط کاربری آرژیلا شروع کنید. در این مرحله باید ظاهری مانند تصویر زیر داشته باشد:
اکنون دیتاسِت ما برای شروع حاشیه‌گذاری آماده است!

Xet Storage Details

Size:
6.66 kB
·
Xet hash:
e4d2954ffce92296756f2fb136b9ea8b42ace49ccb98cc1d9151ce5a148ae368

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.