Buckets:
| # اگر دیتاست من در هاب نباشد چه؟[[what-if-my-dataset-isnt-on-the-hub]] | |
| <CourseFloatingBanner chapter={5} | |
| classNames="absolute z-10 right-0 top-0" | |
| notebooks={[ | |
| {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"}, | |
| {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"}, | |
| ]} /> | |
| میدانید چگونه از [هاب هاگینگفِیس](https://huggingface.co/datasets) برای بارگیری دیتاستها استفاده کنید، اما اغلب با دادههایی کار خواهید کرد که روی لپتاپ یا یک سرور راه دور ذخیره شدهاند. در این بخش نشان میدهیم که چگونه میتوان از 🤗 Datasets برای بارگذاری دیتاستهایی استفاده کرد که در هاب هاگینگفِیس در دسترس نیستند. | |
| ## کار با دیتاستهای محلی و راه دور[[working-with-local-and-remote-datasets]] | |
| 🤗 Datasets اسکریپتهای بارگذاریای برای مدیریت بارگذاری دیتاستهای محلی و راه دور ارائه میدهد. این کتابخانه از چند قالب متداول داده پشتیبانی میکند، مانند: | |
| | قالب داده | اسکریپت بارگذاری | مثال | | |
| | :----------------: | :------------: | :-----------------------------------------------------: | | |
| | CSV و TSV | `csv` | `load_dataset("csv", data_files="my_file.csv")` | | |
| | فایلهای متنی | `text` | `load_dataset("text", data_files="my_file.txt")` | | |
| | JSON و JSON Lines | `json` | `load_dataset("json", data_files="my_file.jsonl")` | | |
| | DataFrameهای Pickleشده | `pandas` | `load_dataset("pandas", data_files="my_dataframe.pkl")` | | |
| همانطور که در جدول میبینید، برای هر قالب داده کافی است نوع اسکریپت بارگذاری را در تابع `load_dataset()` مشخص کنیم و همراه آن آرگومان `data_files` را بدهیم که مسیر یک یا چند فایل را مشخص میکند. ابتدا با بارگذاری یک دیتاست از فایلهای محلی شروع میکنیم؛ بعدتر میبینیم چگونه همین کار را با فایلهای راه دور انجام دهیم. | |
| ## بارگذاری یک دیتاست محلی[[loading-a-local-dataset]] | |
| برای این مثال از [دیتاست SQuAD-it](https://github.com/crux82/squad-it/) استفاده میکنیم؛ دیتاستی بزرگمقیاس برای پاسخگویی به پرسش به زبان ایتالیایی. | |
| بخشهای تعلیم و آزمون روی GitHub میزبانی میشوند، بنابراین میتوانیم آنها را با یک دستور سادهی `wget` بارگیری کنیم: | |
| ```python | |
| !wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-train.json.gz | |
| !wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-test.json.gz | |
| ``` | |
| این کار دو فایل فشرده با نامهای *SQuAD_it-train.json.gz* و *SQuAD_it-test.json.gz* را بارگیری میکند که میتوانیم آنها را با دستور لینوکسی `gzip` از حالت فشرده خارج کنیم: | |
| ```python | |
| !gzip -dkv SQuAD_it-*.json.gz | |
| ``` | |
| ```bash | |
| SQuAD_it-test.json.gz: 87.4% -- replaced with SQuAD_it-test.json | |
| SQuAD_it-train.json.gz: 82.2% -- replaced with SQuAD_it-train.json | |
| ``` | |
| میبینیم که فایلهای فشرده با _SQuAD_it-train.json_ و _SQuAD_it-test.json_ جایگزین شدهاند و دادهها با قالب JSON ذخیره شدهاند. | |
| > [!TIP] | |
| > ✎ اگر برایتان سؤال است که چرا در دستورات shell بالا نویسهی `!` وجود دارد، دلیلش این است که آنها را درون یک نوتبوک Jupyter اجرا میکنیم. اگر میخواهید دیتاست را در یک ترمینال بارگیری و از حالت فشرده خارج کنید، کافی است این پیشوند را حذف کنید. | |
| برای بارگذاری یک فایل JSON با تابع `load_dataset()`، فقط باید بدانیم با JSON معمولی (مشابه یک دیکشنری تودرتو) سروکار داریم یا JSON Lines (JSON جداشده با خط). مانند بسیاری از دیتاستهای پاسخگویی به پرسش، SQuAD-it از قالب تودرتو استفاده میکند و همهی متن در یک فیلد `data` ذخیره شده است. بنابراین میتوانیم دیتاست را با مشخص کردن آرگومان `field` به شکل زیر بارگذاری کنیم: | |
| ```py | |
| from datasets import load_dataset | |
| squad_it_dataset = load_dataset("json", data_files="SQuAD_it-train.json", field="data") | |
| ``` | |
| بهطور پیشفرض، بارگذاری فایلهای محلی یک شیء `DatasetDict` با یک بخش `train` ایجاد میکند. با بررسی شیء `squad_it_dataset` میتوانیم این موضوع را ببینیم: | |
| ```py | |
| squad_it_dataset | |
| ``` | |
| ```python out | |
| DatasetDict({ | |
| train: Dataset({ | |
| features: ['title', 'paragraphs'], | |
| num_rows: 442 | |
| }) | |
| }) | |
| ``` | |
| این خروجی تعداد ردیفها و نام ستونهای مربوط به مجموعهی تعلیم را نشان میدهد. میتوانیم یکی از نمونهها را با اندیسگذاری در بخش `train` به شکل زیر ببینیم: | |
| ```py | |
| squad_it_dataset["train"][0] | |
| ``` | |
| ```python out | |
| { | |
| "title": "Terremoto del Sichuan del 2008", | |
| "paragraphs": [ | |
| { | |
| "context": "Il terremoto del Sichuan del 2008 o il terremoto...", | |
| "qas": [ | |
| { | |
| "answers": [{"answer_start": 29, "text": "2008"}], | |
| "id": "56cdca7862d2951400fa6826", | |
| "question": "In quale anno si è verificato il terremoto nel Sichuan?", | |
| }, | |
| ... | |
| ], | |
| }, | |
| ... | |
| ], | |
| } | |
| ``` | |
| عالی است، نخستین دیتاست محلی خود را بارگذاری کردیم! اما با اینکه این کار برای مجموعهی تعلیم موفق بود، در واقع میخواهیم هر دو بخش `train` و `test` را در یک شیء `DatasetDict` قرار دهیم تا بتوانیم توابع `Dataset.map()` را همزمان روی هر دو بخش اعمال کنیم. برای این کار میتوانیم یک دیکشنری به آرگومان `data_files` بدهیم که نام هر بخش را به فایل مربوط به آن بخش نگاشت میکند: | |
| ```py | |
| data_files = {"train": "SQuAD_it-train.json", "test": "SQuAD_it-test.json"} | |
| squad_it_dataset = load_dataset("json", data_files=data_files, field="data") | |
| squad_it_dataset | |
| ``` | |
| ```python out | |
| DatasetDict({ | |
| train: Dataset({ | |
| features: ['title', 'paragraphs'], | |
| num_rows: 442 | |
| }) | |
| test: Dataset({ | |
| features: ['title', 'paragraphs'], | |
| num_rows: 48 | |
| }) | |
| }) | |
| ``` | |
| این دقیقاً همان چیزی است که میخواستیم. اکنون میتوانیم تکنیکهای مختلف پیشپردازش را برای پاکسازی دادهها، توکِنایز کردن reviewها و کارهای دیگر به کار ببریم. | |
| > [!TIP] | |
| > آرگومان `data_files` تابع `load_dataset()` بسیار انعطافپذیر است و میتواند یک مسیر فایل، فهرستی از مسیر فایلها یا دیکشنریای باشد که نام بخشها را به مسیر فایلها نگاشت میکند. همچنین میتوانید بر اساس قواعد shell یونیکس، فایلهایی را که با یک الگوی مشخص مطابقت دارند glob کنید (برای مثال، میتوانید با تنظیم `data_files="*.json"` همهی فایلهای JSON یک پوشه را بهعنوان یک بخش بارگذاری کنید). برای جزئیات بیشتر، [مستندات 🤗 Datasets](https://huggingface.co/docs/datasets/loading#local-and-remote-files) را ببینید. | |
| اسکریپتهای بارگذاری در 🤗 Datasets در واقع از خارج کردن خودکار فایلهای ورودی از حالت فشرده پشتیبانی میکنند؛ بنابراین میتوانستیم با اشارهی مستقیم آرگومان `data_files` به فایلهای فشرده، استفاده از `gzip` را کنار بگذاریم: | |
| ```py | |
| data_files = {"train": "SQuAD_it-train.json.gz", "test": "SQuAD_it-test.json.gz"} | |
| squad_it_dataset = load_dataset("json", data_files=data_files, field="data") | |
| ``` | |
| اگر نمیخواهید تعداد زیادی فایل GZIP را دستی از حالت فشرده خارج کنید، این قابلیت مفید است. خارج کردن خودکار از حالت فشرده برای قالبهای متداول دیگری مانند ZIP و TAR نیز کاربرد دارد؛ بنابراین فقط کافی است `data_files` را به فایلهای فشرده اشاره دهید تا کار تمام شود! | |
| حالا که میدانید چگونه فایلهای محلی را روی لپتاپ یا رایانهی رومیزی بارگذاری کنید، بیایید نگاهی به بارگذاری فایلهای راه دور بیندازیم. | |
| ## بارگذاری یک دیتاست راه دور[[loading-a-remote-dataset]] | |
| اگر بهعنوان دانشمند داده یا برنامهنویس در یک شرکت کار میکنید، احتمال زیادی دارد دیتاستهایی که میخواهید تحلیل کنید روی یک سرور راه دور ذخیره شده باشند. خوشبختانه، بارگذاری فایلهای راه دور به سادگی بارگذاری فایلهای محلی است! بهجای ارائهی مسیر فایلهای محلی، آرگومان `data_files` تابع `load_dataset()` را به یک یا چند URL که فایلهای راه دور در آنها ذخیره شدهاند اشاره میدهیم. برای مثال، دربارهی دیتاست SQuAD-it که روی GitHub میزبانی میشود، میتوانیم `data_files` را مانند زیر به URLهای _SQuAD_it-*.json.gz_ اشاره دهیم: | |
| ```py | |
| url = "https://github.com/crux82/squad-it/raw/master/" | |
| data_files = { | |
| "train": url + "SQuAD_it-train.json.gz", | |
| "test": url + "SQuAD_it-test.json.gz", | |
| } | |
| squad_it_dataset = load_dataset("json", data_files=data_files, field="data") | |
| ``` | |
| این کار همان شیء `DatasetDict` بالا را برمیگرداند، اما مرحلهی بارگیری دستی و خارج کردن فایلهای _SQuAD_it-*.json.gz_ از حالت فشرده را حذف میکند. این بررسی ما دربارهی روشهای مختلف بارگذاری دیتاستهایی که در هاب هاگینگفِیس میزبانی نمیشوند به پایان میرسد. حالا که دیتاستی برای کار داریم، بیایید سراغ تکنیکهای مختلف ساماندهی داده برویم! | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** دیتاست دیگری را که روی GitHub یا [مخزن یادگیری ماشین UCI](https://archive.ics.uci.edu/ml/index.php) میزبانی میشود انتخاب کنید و با استفاده از تکنیکهای بالا، بارگذاری محلی و راه دور آن را امتحان کنید. برای امتیاز بیشتر، دیتاستی را بارگذاری کنید که در قالب CSV یا متن ذخیره شده باشد (برای اطلاعات بیشتر دربارهی این قالبها [مستندات](https://huggingface.co/docs/datasets/loading#local-and-remote-files) را ببینید). | |
Xet Storage Details
- Size:
- 12.3 kB
- Xet hash:
- d0daa61794d766676e84f7005c00c21684d1a05a89381e548272b66c7e3081df
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.