Buckets:
| # دادههای بزرگ؟ 🤗 Datasets به کمک شما میآید![[big-data-datasets-to-the-rescue]] | |
| <CourseFloatingBanner chapter={5} | |
| classNames="absolute z-10 right-0 top-0" | |
| notebooks={[ | |
| {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"}, | |
| {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"}, | |
| ]} /> | |
| امروزه کار کردن با دیتاستهای چندگیگابایتی، بهخصوص اگر قصد داشته باشید ترنسفورمری مانند BERT یا GPT-2 را از صفر پیشتعلیم دهید، اتفاق عجیبی نیست. در این شرایط، حتی _بارگذاری_ دادهها نیز میتواند چالشبرانگیز باشد. برای مثال، پیکرهی WebText که برای پیشتعلیم GPT-2 استفاده شده است، بیش از ۸ میلیون سند و ۴۰ گیگابایت متن دارد — بارگذاری آن در RAM لپتاپ شما احتمالاً آن را از پا درمیآورد! | |
| خوشبختانه 🤗 Datasets برای غلبه بر این محدودیتها طراحی شده است. این کتابخانه با در نظر گرفتن دیتاستها بهعنوان فایلهای _نگاشتشده در حافظه_، شما را از مشکلات مدیریت حافظه رها میکند و با _جریاندهی_ ورودیهای یک پیکره، محدودیتهای هارددیسک را برطرف میسازد. | |
| در این بخش، این قابلیتهای 🤗 Datasets را با پیکرهی عظیم ۸۲۵ گیگابایتی معروف به [the Pile](https://pile.eleuther.ai) بررسی میکنیم. شروع کنیم! | |
| ## Pile چیست؟[[what-is-the-pile]] | |
| Pile یک پیکرهی متنی انگلیسی است که [EleutherAI](https://www.eleuther.ai) آن را برای تعلیم مدلهای زبانی بزرگمقیاس ساخته است. این پیکره مجموعهی متنوعی از دیتاستها را شامل میشود؛ از مقالههای علمی و مخزنهای کد GitHub گرفته تا متن وب فیلترشده. پیکرهی تعلیم در [بخشهای ۱۴ گیگابایتی](https://the-eye.eu/public/AI/pile/) در دسترس است و میتوانید چند مورد از [اجزای جداگانهی آن](https://the-eye.eu/public/AI/pile_preliminary_components/) را نیز دانلود کنید. بیایید با نگاهی به دیتاست PubMed Abstracts شروع کنیم؛ این دیتاست پیکرهای از چکیدههای ۱۵ میلیون مقالهی زیستپزشکی در [PubMed](https://pubmed.ncbi.nlm.nih.gov/) است. دیتاست در [قالب JSON Lines](https://jsonlines.org) قرار دارد و با کتابخانهی `zstandard` فشرده شده است، پس ابتدا باید آن را نصب کنیم: | |
| ```py | |
| !pip install zstandard | |
| ``` | |
| سپس میتوانیم با استفاده از روشی که در [بخش ۲](/course/chapter5/2) برای فایلهای راه دور یاد گرفتیم، دیتاست را بارگذاری کنیم: | |
| ```py | |
| from datasets import load_dataset | |
| # This takes a few minutes to run, so go grab a tea or coffee while you wait :) | |
| data_files = "https://the-eye.eu/public/AI/pile_preliminary_components/PUBMED_title_abstracts_2019_baseline.jsonl.zst" | |
| pubmed_dataset = load_dataset("json", data_files=data_files, split="train") | |
| pubmed_dataset | |
| ``` | |
| ```python out | |
| Dataset({ | |
| features: ['meta', 'text'], | |
| num_rows: 15518009 | |
| }) | |
| ``` | |
| میبینیم که دیتاست ما ۱۵٬۵۱۸٬۰۰۹ ردیف و ۲ ستون دارد — عدد زیادی است! | |
| > [!TIP] | |
| > ✎ بهطور پیشفرض، 🤗 Datasets فایلهای لازم برای بارگذاری دیتاست را از حالت فشرده خارج میکند. اگر میخواهید فضای هارددیسک را حفظ کنید، میتوانید `DownloadConfig(delete_extracted=True)` را به آرگومان `download_config` تابع `load_dataset()` بدهید. برای جزئیات بیشتر، [مستندات](https://huggingface.co/docs/datasets/package_reference/builder_classes#datasets.DownloadConfig) را ببینید. | |
| بیایید محتوای نخستین نمونه را بررسی کنیم: | |
| ```py | |
| pubmed_dataset[0] | |
| ``` | |
| ```python out | |
| {'meta': {'pmid': 11409574, 'language': 'eng'}, | |
| 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'} | |
| ``` | |
| خوب، این شبیه چکیدهی یک مقالهی پزشکی است. حالا ببینیم برای بارگذاری دیتاست چه مقدار RAM مصرف کردهایم! | |
| ## جادوی نگاشت حافظه[[the-magic-of-memory-mapping]] | |
| یک راه ساده برای اندازهگیری مصرف حافظه در پایتون، استفاده از کتابخانهی [`psutil`](https://psutil.readthedocs.io/en/latest/) است که میتوان آن را با `pip` به شکل زیر نصب کرد: | |
| ```python | |
| !pip install psutil | |
| ``` | |
| این کتابخانه کلاس `Process` را ارائه میدهد که با آن میتوانیم مصرف حافظهی فرایند فعلی را به شکل زیر بررسی کنیم: | |
| ```py | |
| import psutil | |
| # Process.memory_info is expressed in bytes, so convert to megabytes | |
| print(f"RAM used: {psutil.Process().memory_info().rss / (1024 * 1024):.2f} MB") | |
| ``` | |
| ```python out | |
| RAM used: 5678.33 MB | |
| ``` | |
| در اینجا ویژگی `rss` به _اندازهی مجموعهی مقیم_ اشاره دارد؛ یعنی بخشی از حافظه که یک فرایند در RAM اشغال میکند. این اندازهگیری حافظهی استفادهشده توسط مفسر پایتون و کتابخانههای بارگذاریشده را نیز شامل میشود، بنابراین مقدار واقعی حافظهای که برای بارگذاری دیتاست مصرف شده کمی کمتر است. برای مقایسه، بیایید اندازهی دیتاست روی دیسک را با استفاده از ویژگی `dataset_size` ببینیم. از آنجا که نتیجه مانند قبل برحسب بایت بیان میشود، باید آن را دستی به گیگابایت تبدیل کنیم: | |
| ```py | |
| print(f"Dataset size in bytes: {pubmed_dataset.dataset_size}") | |
| size_gb = pubmed_dataset.dataset_size / (1024**3) | |
| print(f"Dataset size (cache file) : {size_gb:.2f} GB") | |
| ``` | |
| ```python out | |
| Dataset size in bytes : 20979437051 | |
| Dataset size (cache file) : 19.54 GB | |
| ``` | |
| عالی است — با اینکه اندازهی دیتاست تقریباً ۲۰ گیگابایت است، میتوانیم آن را با مقدار بسیار کمتری RAM بارگذاری و به آن دسترسی پیدا کنیم! | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** یکی از [زیرمجموعههای](https://the-eye.eu/public/AI/pile_preliminary_components/) Pile را که از RAM لپتاپ یا رایانهی شما بزرگتر است انتخاب کنید، آن را با 🤗 Datasets بارگذاری کنید و مقدار RAM مصرفشده را اندازه بگیرید. توجه کنید که برای اندازهگیری دقیق، بهتر است این کار را در یک فرایند جدید انجام دهید. اندازههای استخراجشدهی هر زیرمجموعه را میتوانید در جدول ۱ [مقالهی Pile](https://arxiv.org/abs/2101.00027) ببینید. | |
| اگر با Pandas آشنا باشید، این نتیجه ممکن است بهخاطر [قاعدهی سرانگشتی معروف](https://wesmckinney.com/blog/apache-arrow-pandas-internals/) وس کینی، که معمولاً به ۵ تا ۱۰ برابر اندازهی دیتاست RAM نیاز دارید، برایتان تعجبآور باشد. پس 🤗 Datasets چگونه این مشکل مدیریت حافظه را حل میکند؟ 🤗 Datasets هر دیتاست را بهعنوان یک [فایل نگاشتشده در حافظه](https://en.wikipedia.org/wiki/Memory-mapped_file) در نظر میگیرد. این فایل نگاشتی بین RAM و فضای ذخیرهسازی فایلسیستم فراهم میکند که به کتابخانه اجازه میدهد بدون بارگذاری کامل دیتاست در حافظه، به عناصر آن دسترسی پیدا کند و روی آنها عملیات انجام دهد. | |
| فایلهای نگاشتشده در حافظه میتوانند بین چند فرایند نیز به اشتراک گذاشته شوند؛ در نتیجه متدهایی مانند `Dataset.map()` بدون جابهجا کردن یا کپی کردن دیتاست موازی میشوند. در پشت صحنه، این قابلیتها با قالب حافظهی [Apache Arrow](https://arrow.apache.org) و کتابخانهی [`pyarrow`](https://arrow.apache.org/docs/python/index.html) پیادهسازی شدهاند و بارگذاری و پردازش داده را بسیار سریع میکنند. (برای جزئیات بیشتر دربارهی Apache Arrow و مقایسهی آن با Pandas، [نوشتهی وبلاگی دژان سیمیچ](https://towardsdatascience.com/apache-arrow-read-dataframe-with-zero-memory-69634092b1a) را ببینید.) برای مشاهدهی این قابلیت در عمل، با پیمایش همهی عناصر دیتاست PubMed Abstracts یک آزمون سرعت کوچک اجرا کنیم: | |
| ```py | |
| import timeit | |
| code_snippet = """batch_size = 1000 | |
| for idx in range(0, len(pubmed_dataset), batch_size): | |
| _ = pubmed_dataset[idx:idx + batch_size] | |
| """ | |
| time = timeit.timeit(stmt=code_snippet, number=1, globals=globals()) | |
| print( | |
| f"Iterated over {len(pubmed_dataset)} examples (about {size_gb:.1f} GB) in " | |
| f"{time:.1f}s, i.e. {size_gb/time:.3f} GB/s" | |
| ) | |
| ``` | |
| ```python out | |
| 'Iterated over 15518009 examples (about 19.5 GB) in 64.2s, i.e. 0.304 GB/s' | |
| ``` | |
| در اینجا از ماژول `timeit` پایتون برای اندازهگیری زمان اجرای `code_snippet` استفاده کردیم. معمولاً میتوانید دیتاست را با سرعتی از چند دهم گیگابایت بر ثانیه تا چند گیگابایت بر ثانیه پیمایش کنید. این روش برای بیشتر کاربردها عالی است، اما گاهی با دیتاستی کار خواهید کرد که حتی روی هارددیسک لپتاپتان هم جا نمیشود. برای مثال، اگر بخواهیم کل Pile را دانلود کنیم، به ۸۲۵ گیگابایت فضای خالی دیسک نیاز داریم! برای این موارد، 🤗 Datasets قابلیت streaming را ارائه میدهد که به ما اجازه میدهد بدون دانلود کل دیتاست، عناصر را هنگام نیاز دانلود و به آنها دسترسی پیدا کنیم. بیایید ببینیم این قابلیت چگونه کار میکند. | |
| > [!TIP] | |
| > 💡 در نوتبوکهای Jupyter میتوانید زمان اجرای سلولها را نیز با [magic function `%%timeit`](https://ipython.readthedocs.io/en/stable/interactive/magics.html#magic-timeit) اندازه بگیرید. | |
| ## دیتاستهای جریاندادهشده[[streaming-datasets]] | |
| برای فعال کردن جریاندهی دیتاست، کافی است آرگومان `streaming=True` را به تابع `load_dataset()` بدهید. برای مثال، بیایید دیتاست PubMed Abstracts را دوباره، اما در حالت streaming، بارگذاری کنیم: | |
| ```py | |
| pubmed_dataset_streamed = load_dataset( | |
| "json", data_files=data_files, split="train", streaming=True | |
| ) | |
| ``` | |
| برخلاف `Dataset` آشنایی که در بخشهای دیگر این فصل دیدیم، شیئی که با `streaming=True` برگردانده میشود یک `IterableDataset` است. همانطور که از نامش پیداست، برای دسترسی به عناصر `IterableDataset` باید روی آن پیمایش انجام دهیم. میتوانیم به نخستین عنصر دیتاست جریاندادهشده به شکل زیر دسترسی پیدا کنیم: | |
| ```py | |
| next(iter(pubmed_dataset_streamed)) | |
| ``` | |
| ```python out | |
| {'meta': {'pmid': 11409574, 'language': 'eng'}, | |
| 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'} | |
| ``` | |
| عناصر دیتاست جریاندادهشده را میتوان با استفاده از `IterableDataset.map()` هنگام نیاز پردازش کرد؛ این قابلیت هنگام تعلیم مفید است، اگر لازم باشد ورودیها را توکِنایز کنید. این فرایند دقیقاً مانند فرایندی است که برای توکِنایز کردن دیتاست در [فصل ۳](/course/chapter3) استفاده کردیم، با این تفاوت که خروجیها یکییکی برگردانده میشوند: | |
| ```py | |
| from transformers import AutoTokenizer | |
| tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased") | |
| tokenized_dataset = pubmed_dataset_streamed.map(lambda x: tokenizer(x["text"])) | |
| next(iter(tokenized_dataset)) | |
| ``` | |
| ```python out | |
| {'input_ids': [101, 4958, 5178, 4328, 6779, ...], 'attention_mask': [1, 1, 1, 1, 1, ...]} | |
| ``` | |
| > [!TIP] | |
| > 💡 برای سریعتر کردن توکِنایز کردن با streaming میتوانید همانطور که در بخش قبل دیدیم، `batched=True` را بدهید. این کار نمونهها را بتچبهبتچ پردازش میکند؛ اندازهی پیشفرض بتچ ۱۰۰۰ است و با آرگومان `batch_size` قابل مشخص کردن است. | |
| همچنین میتوانید با استفاده از `IterableDataset.shuffle()` یک دیتاست جریاندادهشده را shuffle کنید؛ اما برخلاف `Dataset.shuffle()`، این تابع فقط عناصر موجود در `buffer_size` از پیش تعیینشده را shuffle میکند: | |
| ```py | |
| shuffled_dataset = pubmed_dataset_streamed.shuffle(buffer_size=10_000, seed=42) | |
| next(iter(shuffled_dataset)) | |
| ``` | |
| ```python out | |
| {'meta': {'pmid': 11410799, 'language': 'eng'}, | |
| 'text': 'Randomized study of dose or schedule modification of granulocyte colony-stimulating factor in platinum-based chemotherapy for elderly patients with lung cancer ...'} | |
| ``` | |
| در این مثال، یک نمونهی تصادفی را از میان ۱۰٬۰۰۰ نمونهی نخست موجود در buffer انتخاب کردیم. پس از دسترسی به یک نمونه، جای آن در buffer با نمونهی بعدی پیکره پر میشود (یعنی در مثال بالا نمونهی ۱۰٬۰۰۱ام). همچنین میتوانید با توابع `IterableDataset.take()` و `IterableDataset.skip()`، که مانند `Dataset.select()` عمل میکنند، عناصری را از دیتاست جریاندادهشده انتخاب کنید. برای مثال، برای انتخاب ۵ نمونهی نخست دیتاست PubMed Abstracts میتوانیم چنین کنیم: | |
| ```py | |
| dataset_head = pubmed_dataset_streamed.take(5) | |
| list(dataset_head) | |
| ``` | |
| ```python out | |
| [{'meta': {'pmid': 11409574, 'language': 'eng'}, | |
| 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'}, | |
| {'meta': {'pmid': 11409575, 'language': 'eng'}, | |
| 'text': 'Clinical signs of hypoxaemia in children with acute lower respiratory infection: indicators of oxygen therapy ...'}, | |
| {'meta': {'pmid': 11409576, 'language': 'eng'}, | |
| 'text': "Hypoxaemia in children with severe pneumonia in Papua New Guinea ..."}, | |
| {'meta': {'pmid': 11409577, 'language': 'eng'}, | |
| 'text': 'Oxygen concentrators and cylinders ...'}, | |
| {'meta': {'pmid': 11409578, 'language': 'eng'}, | |
| 'text': 'Oxygen supply in rural africa: a personal experience ...'}] | |
| ``` | |
| به همین شکل، میتوانید از تابع `IterableDataset.skip()` برای ساخت splitهای تعلیم و اعتبارسنجی از یک دیتاست shuffleشده استفاده کنید: | |
| ```py | |
| # Skip the first 1,000 examples and include the rest in the training set | |
| train_dataset = shuffled_dataset.skip(1000) | |
| # Take the first 1,000 examples for the validation set | |
| validation_dataset = shuffled_dataset.take(1000) | |
| ``` | |
| بیایید بررسی خود دربارهی جریاندهی دیتاست را با کاربردی متداول کامل کنیم: ترکیب چند دیتاست برای ساختن یک پیکرهی واحد. 🤗 Datasets تابع `interleave_datasets()` را ارائه میدهد که فهرستی از اشیای `IterableDataset` را به یک `IterableDataset` واحد تبدیل میکند؛ عناصر دیتاست جدید با انتخاب نوبتی از نمونههای منبع به دست میآیند. این تابع هنگام ترکیب دیتاستهای بزرگ بسیار مفید است. برای مثال، زیرمجموعهی FreeLaw از Pile را جریاندهی میکنیم که دیتاستی ۵۱ گیگابایتی از آرای حقوقی دادگاههای ایالات متحده است: | |
| ```py | |
| law_dataset_streamed = load_dataset( | |
| "json", | |
| data_files="https://the-eye.eu/public/AI/pile_preliminary_components/FreeLaw_Opinions.jsonl.zst", | |
| split="train", | |
| streaming=True, | |
| ) | |
| next(iter(law_dataset_streamed)) | |
| ``` | |
| ```python out | |
| {'meta': {'case_ID': '110921.json', | |
| 'case_jurisdiction': 'scotus.tar.gz', | |
| 'date_created': '2010-04-28T17:12:49Z'}, | |
| 'text': '\n461 U.S. 238 (1983)\nOLIM ET AL.\nv.\nWAKINEKONA\nNo. 81-1581.\nSupreme Court of United States.\nArgued January 19, 1983.\nDecided April 26, 1983.\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'} | |
| ``` | |
| این دیتاست آنقدر بزرگ است که RAM بیشتر لپتاپها را تحت فشار قرار دهد، اما توانستهایم بدون دردسر آن را بارگذاری و به آن دسترسی پیدا کنیم! حالا بیایید نمونههای دیتاستهای FreeLaw و PubMed Abstracts را با تابع `interleave_datasets()` ترکیب کنیم: | |
| ```py | |
| from itertools import islice | |
| from datasets import interleave_datasets | |
| combined_dataset = interleave_datasets([pubmed_dataset_streamed, law_dataset_streamed]) | |
| list(islice(combined_dataset, 2)) | |
| ``` | |
| ```python out | |
| [{'meta': {'pmid': 11409574, 'language': 'eng'}, | |
| 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'}, | |
| {'meta': {'case_ID': '110921.json', | |
| 'case_jurisdiction': 'scotus.tar.gz', | |
| 'date_created': '2010-04-28T17:12:49Z'}, | |
| 'text': '\n461 U.S. 238 (1983)\nOLIM ET AL.\nv.\nWAKINEKONA\nNo. 81-1581.\nSupreme Court of United States.\nArgued January 19, 1983.\nDecided April 26, 1983.\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'}] | |
| ``` | |
| در اینجا از تابع `islice()` از ماژول `itertools` پایتون برای انتخاب دو نمونهی نخست از دیتاست ترکیبی استفاده کردیم و میبینیم که آنها با نمونههای نخست هر یک از دو دیتاست منبع مطابقت دارند. | |
| در نهایت، اگر بخواهید Pile را بهطور کامل و در حجم ۸۲۵ گیگابایت جریاندهی کنید، میتوانید همهی فایلهای آماده را به شکل زیر دریافت کنید: | |
| ```py | |
| base_url = "https://the-eye.eu/public/AI/pile/" | |
| data_files = { | |
| "train": [base_url + "train/" + f"{idx:02d}.jsonl.zst" for idx in range(30)], | |
| "validation": base_url + "val.jsonl.zst", | |
| "test": base_url + "test.jsonl.zst", | |
| } | |
| pile_dataset = load_dataset("json", data_files=data_files, streaming=True) | |
| next(iter(pile_dataset["train"])) | |
| ``` | |
| ```python out | |
| {'meta': {'pile_set_name': 'Pile-CC'}, | |
| 'text': 'It is done, and submitted. You can play “Survival of the Tastiest” on Android, and on the web...'} | |
| ``` | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** از یکی از پیکرههای بزرگ Common Crawl، مانند [`mc4`](https://huggingface.co/datasets/mc4) یا [`oscar`](https://huggingface.co/datasets/oscar)، استفاده کنید تا دیتاستی چندزبانه و جریاندادهشده بسازید که نسبت گفتاری زبانها را در کشوری که انتخاب میکنید نشان دهد. برای مثال، چهار زبان ملی سوئیس آلمانی، فرانسوی، ایتالیایی و رومانش هستند؛ بنابراین میتوانید با نمونهگیری از زیرمجموعههای Oscar بر اساس نسبت گفتاری آنها، یک پیکرهی سوئیسی بسازید. | |
| اکنون همهی ابزارهای لازم برای بارگذاری و پردازش دیتاستهایی با هر شکل و اندازهای را دارید — اما اگر بسیار خوششانس نباشید، در مسیر NLP شما زمانی میرسد که باید واقعاً برای حل مسئلهی پیشرو دیتاستی بسازید. موضوع بخش بعدی همین است! | |
Xet Storage Details
- Size:
- 22.8 kB
- Xet hash:
- c9f7e29377afdbb82ecc2dbf6f406806fa2274a2c4e71596bc25b0a9ab144d6f
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.