Buckets:

|
download
raw
12.3 kB

اگر دیتاست من در هاب نباشد چه؟[[what-if-my-dataset-isnt-on-the-hub]]

<CourseFloatingBanner chapter={5} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"}, ]} />

می‌دانید چگونه از هاب هاگینگ‌فِیس برای بارگیری دیتاست‌ها استفاده کنید، اما اغلب با داده‌هایی کار خواهید کرد که روی لپ‌تاپ یا یک سرور راه دور ذخیره شده‌اند. در این بخش نشان می‌دهیم که چگونه می‌توان از 🤗 Datasets برای بارگذاری دیتاست‌هایی استفاده کرد که در هاب هاگینگ‌فِیس در دسترس نیستند.

کار با دیتاست‌های محلی و راه دور[[working-with-local-and-remote-datasets]]

🤗 Datasets اسکریپت‌های بارگذاری‌ای برای مدیریت بارگذاری دیتاست‌های محلی و راه دور ارائه می‌دهد. این کتابخانه از چند قالب متداول داده پشتیبانی می‌کند، مانند:

قالب داده اسکریپت بارگذاری مثال
CSV و TSV csv load_dataset("csv", data_files="my_file.csv")
فایل‌های متنی text load_dataset("text", data_files="my_file.txt")
JSON و JSON Lines json load_dataset("json", data_files="my_file.jsonl")
DataFrameهای Pickleشده pandas load_dataset("pandas", data_files="my_dataframe.pkl")

همان‌طور که در جدول می‌بینید، برای هر قالب داده کافی است نوع اسکریپت بارگذاری را در تابع load_dataset() مشخص کنیم و همراه آن آرگومان data_files را بدهیم که مسیر یک یا چند فایل را مشخص می‌کند. ابتدا با بارگذاری یک دیتاست از فایل‌های محلی شروع می‌کنیم؛ بعدتر می‌بینیم چگونه همین کار را با فایل‌های راه دور انجام دهیم.

بارگذاری یک دیتاست محلی[[loading-a-local-dataset]]

برای این مثال از دیتاست SQuAD-it استفاده می‌کنیم؛ دیتاستی بزرگ‌مقیاس برای پاسخ‌گویی به پرسش به زبان ایتالیایی.

بخش‌های تعلیم و آزمون روی GitHub میزبانی می‌شوند، بنابراین می‌توانیم آن‌ها را با یک دستور ساده‌ی wget بارگیری کنیم:

!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-train.json.gz
!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-test.json.gz

این کار دو فایل فشرده با نام‌های SQuAD_it-train.json.gz و SQuAD_it-test.json.gz را بارگیری می‌کند که می‌توانیم آن‌ها را با دستور لینوکسی gzip از حالت فشرده خارج کنیم:

!gzip -dkv SQuAD_it-*.json.gz
SQuAD_it-test.json.gz:	   87.4% -- replaced with SQuAD_it-test.json
SQuAD_it-train.json.gz:	   82.2% -- replaced with SQuAD_it-train.json

می‌بینیم که فایل‌های فشرده با SQuAD_it-train.json و SQuAD_it-test.json جایگزین شده‌اند و داده‌ها با قالب JSON ذخیره شده‌اند.

✎ اگر برایتان سؤال است که چرا در دستورات shell بالا نویسه‌ی ! وجود دارد، دلیلش این است که آن‌ها را درون یک نوت‌بوک Jupyter اجرا می‌کنیم. اگر می‌خواهید دیتاست را در یک ترمینال بارگیری و از حالت فشرده خارج کنید، کافی است این پیشوند را حذف کنید.

برای بارگذاری یک فایل JSON با تابع load_dataset()، فقط باید بدانیم با JSON معمولی (مشابه یک دیکشنری تو‌در‌تو) سروکار داریم یا JSON Lines (JSON جداشده با خط). مانند بسیاری از دیتاست‌های پاسخ‌گویی به پرسش، SQuAD-it از قالب تو‌در‌تو استفاده می‌کند و همه‌ی متن در یک فیلد data ذخیره شده است. بنابراین می‌توانیم دیتاست را با مشخص کردن آرگومان field به شکل زیر بارگذاری کنیم:

from datasets import load_dataset

squad_it_dataset = load_dataset("json", data_files="SQuAD_it-train.json", field="data")

به‌طور پیش‌فرض، بارگذاری فایل‌های محلی یک شیء DatasetDict با یک بخش train ایجاد می‌کند. با بررسی شیء squad_it_dataset می‌توانیم این موضوع را ببینیم:

squad_it_dataset
DatasetDict({
    train: Dataset({
        features: ['title', 'paragraphs'],
        num_rows: 442
    })
})

این خروجی تعداد ردیف‌ها و نام ستون‌های مربوط به مجموعه‌ی تعلیم را نشان می‌دهد. می‌توانیم یکی از نمونه‌ها را با اندیس‌گذاری در بخش train به شکل زیر ببینیم:

squad_it_dataset["train"][0]
{
    "title": "Terremoto del Sichuan del 2008",
    "paragraphs": [
        {
            "context": "Il terremoto del Sichuan del 2008 o il terremoto...",
            "qas": [
                {
                    "answers": [{"answer_start": 29, "text": "2008"}],
                    "id": "56cdca7862d2951400fa6826",
                    "question": "In quale anno si è verificato il terremoto nel Sichuan?",
                },
                ...
            ],
        },
        ...
    ],
}

عالی است، نخستین دیتاست محلی خود را بارگذاری کردیم! اما با اینکه این کار برای مجموعه‌ی تعلیم موفق بود، در واقع می‌خواهیم هر دو بخش train و test را در یک شیء DatasetDict قرار دهیم تا بتوانیم توابع Dataset.map() را هم‌زمان روی هر دو بخش اعمال کنیم. برای این کار می‌توانیم یک دیکشنری به آرگومان data_files بدهیم که نام هر بخش را به فایل مربوط به آن بخش نگاشت می‌کند:

data_files = {"train": "SQuAD_it-train.json", "test": "SQuAD_it-test.json"}
squad_it_dataset = load_dataset("json", data_files=data_files, field="data")
squad_it_dataset
DatasetDict({
    train: Dataset({
        features: ['title', 'paragraphs'],
        num_rows: 442
    })
    test: Dataset({
        features: ['title', 'paragraphs'],
        num_rows: 48
    })
})

این دقیقاً همان چیزی است که می‌خواستیم. اکنون می‌توانیم تکنیک‌های مختلف پیش‌پردازش را برای پاک‌سازی داده‌ها، توکِنایز کردن reviewها و کارهای دیگر به کار ببریم.

آرگومان data_files تابع load_dataset() بسیار انعطاف‌پذیر است و می‌تواند یک مسیر فایل، فهرستی از مسیر فایل‌ها یا دیکشنری‌ای باشد که نام بخش‌ها را به مسیر فایل‌ها نگاشت می‌کند. همچنین می‌توانید بر اساس قواعد shell یونیکس، فایل‌هایی را که با یک الگوی مشخص مطابقت دارند glob کنید (برای مثال، می‌توانید با تنظیم data_files="*.json" همه‌ی فایل‌های JSON یک پوشه را به‌عنوان یک بخش بارگذاری کنید). برای جزئیات بیشتر، مستندات 🤗 Datasets را ببینید.

اسکریپت‌های بارگذاری در 🤗 Datasets در واقع از خارج کردن خودکار فایل‌های ورودی از حالت فشرده پشتیبانی می‌کنند؛ بنابراین می‌توانستیم با اشاره‌ی مستقیم آرگومان data_files به فایل‌های فشرده، استفاده از gzip را کنار بگذاریم:

data_files = {"train": "SQuAD_it-train.json.gz", "test": "SQuAD_it-test.json.gz"}
squad_it_dataset = load_dataset("json", data_files=data_files, field="data")

اگر نمی‌خواهید تعداد زیادی فایل GZIP را دستی از حالت فشرده خارج کنید، این قابلیت مفید است. خارج کردن خودکار از حالت فشرده برای قالب‌های متداول دیگری مانند ZIP و TAR نیز کاربرد دارد؛ بنابراین فقط کافی است data_files را به فایل‌های فشرده اشاره دهید تا کار تمام شود!

حالا که می‌دانید چگونه فایل‌های محلی را روی لپ‌تاپ یا رایانه‌ی رومیزی بارگذاری کنید، بیایید نگاهی به بارگذاری فایل‌های راه دور بیندازیم.

بارگذاری یک دیتاست راه دور[[loading-a-remote-dataset]]

اگر به‌عنوان دانشمند داده یا برنامه‌نویس در یک شرکت کار می‌کنید، احتمال زیادی دارد دیتاست‌هایی که می‌خواهید تحلیل کنید روی یک سرور راه دور ذخیره شده باشند. خوشبختانه، بارگذاری فایل‌های راه دور به سادگی بارگذاری فایل‌های محلی است! به‌جای ارائه‌ی مسیر فایل‌های محلی، آرگومان data_files تابع load_dataset() را به یک یا چند URL که فایل‌های راه دور در آن‌ها ذخیره شده‌اند اشاره می‌دهیم. برای مثال، درباره‌ی دیتاست SQuAD-it که روی GitHub میزبانی می‌شود، می‌توانیم data_files را مانند زیر به URLهای SQuAD_it-*.json.gz اشاره دهیم:

url = "https://github.com/crux82/squad-it/raw/master/"
data_files = {
    "train": url + "SQuAD_it-train.json.gz",
    "test": url + "SQuAD_it-test.json.gz",
}
squad_it_dataset = load_dataset("json", data_files=data_files, field="data")

این کار همان شیء DatasetDict بالا را برمی‌گرداند، اما مرحله‌ی بارگیری دستی و خارج کردن فایل‌های SQuAD_it-*.json.gz از حالت فشرده را حذف می‌کند. این بررسی ما درباره‌ی روش‌های مختلف بارگذاری دیتاست‌هایی که در هاب هاگینگ‌فِیس میزبانی نمی‌شوند به پایان می‌رسد. حالا که دیتاستی برای کار داریم، بیایید سراغ تکنیک‌های مختلف سامان‌دهی داده برویم!

✏️ امتحان کنید! دیتاست دیگری را که روی GitHub یا مخزن یادگیری ماشین UCI میزبانی می‌شود انتخاب کنید و با استفاده از تکنیک‌های بالا، بارگذاری محلی و راه دور آن را امتحان کنید. برای امتیاز بیشتر، دیتاستی را بارگذاری کنید که در قالب CSV یا متن ذخیره شده باشد (برای اطلاعات بیشتر درباره‌ی این قالب‌ها مستندات را ببینید).

Xet Storage Details

Size:
12.3 kB
·
Xet hash:
d0daa61794d766676e84f7005c00c21684d1a05a89381e548272b66c7e3081df

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.