Buckets:
دادههای بزرگ؟ 🤗 Datasets به کمک شما میآید![[big-data-datasets-to-the-rescue]]
<CourseFloatingBanner chapter={5} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"}, ]} />
امروزه کار کردن با دیتاستهای چندگیگابایتی، بهخصوص اگر قصد داشته باشید ترنسفورمری مانند BERT یا GPT-2 را از صفر پیشتعلیم دهید، اتفاق عجیبی نیست. در این شرایط، حتی بارگذاری دادهها نیز میتواند چالشبرانگیز باشد. برای مثال، پیکرهی WebText که برای پیشتعلیم GPT-2 استفاده شده است، بیش از ۸ میلیون سند و ۴۰ گیگابایت متن دارد — بارگذاری آن در RAM لپتاپ شما احتمالاً آن را از پا درمیآورد!
خوشبختانه 🤗 Datasets برای غلبه بر این محدودیتها طراحی شده است. این کتابخانه با در نظر گرفتن دیتاستها بهعنوان فایلهای _نگاشتشده در حافظه_، شما را از مشکلات مدیریت حافظه رها میکند و با جریاندهی ورودیهای یک پیکره، محدودیتهای هارددیسک را برطرف میسازد.
در این بخش، این قابلیتهای 🤗 Datasets را با پیکرهی عظیم ۸۲۵ گیگابایتی معروف به the Pile بررسی میکنیم. شروع کنیم!
Pile چیست؟[[what-is-the-pile]]
Pile یک پیکرهی متنی انگلیسی است که EleutherAI آن را برای تعلیم مدلهای زبانی بزرگمقیاس ساخته است. این پیکره مجموعهی متنوعی از دیتاستها را شامل میشود؛ از مقالههای علمی و مخزنهای کد GitHub گرفته تا متن وب فیلترشده. پیکرهی تعلیم در بخشهای ۱۴ گیگابایتی در دسترس است و میتوانید چند مورد از اجزای جداگانهی آن را نیز دانلود کنید. بیایید با نگاهی به دیتاست PubMed Abstracts شروع کنیم؛ این دیتاست پیکرهای از چکیدههای ۱۵ میلیون مقالهی زیستپزشکی در PubMed است. دیتاست در قالب JSON Lines قرار دارد و با کتابخانهی zstandard فشرده شده است، پس ابتدا باید آن را نصب کنیم:
!pip install zstandard
سپس میتوانیم با استفاده از روشی که در بخش ۲ برای فایلهای راه دور یاد گرفتیم، دیتاست را بارگذاری کنیم:
from datasets import load_dataset
# This takes a few minutes to run, so go grab a tea or coffee while you wait :)
data_files = "https://the-eye.eu/public/AI/pile_preliminary_components/PUBMED_title_abstracts_2019_baseline.jsonl.zst"
pubmed_dataset = load_dataset("json", data_files=data_files, split="train")
pubmed_dataset
Dataset({
features: ['meta', 'text'],
num_rows: 15518009
})
میبینیم که دیتاست ما ۱۵٬۵۱۸٬۰۰۹ ردیف و ۲ ستون دارد — عدد زیادی است!
✎ بهطور پیشفرض، 🤗 Datasets فایلهای لازم برای بارگذاری دیتاست را از حالت فشرده خارج میکند. اگر میخواهید فضای هارددیسک را حفظ کنید، میتوانید
DownloadConfig(delete_extracted=True)را به آرگومانdownload_configتابعload_dataset()بدهید. برای جزئیات بیشتر، مستندات را ببینید.
بیایید محتوای نخستین نمونه را بررسی کنیم:
pubmed_dataset[0]
{'meta': {'pmid': 11409574, 'language': 'eng'},
'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'}
خوب، این شبیه چکیدهی یک مقالهی پزشکی است. حالا ببینیم برای بارگذاری دیتاست چه مقدار RAM مصرف کردهایم!
جادوی نگاشت حافظه[[the-magic-of-memory-mapping]]
یک راه ساده برای اندازهگیری مصرف حافظه در پایتون، استفاده از کتابخانهی psutil است که میتوان آن را با pip به شکل زیر نصب کرد:
!pip install psutil
این کتابخانه کلاس Process را ارائه میدهد که با آن میتوانیم مصرف حافظهی فرایند فعلی را به شکل زیر بررسی کنیم:
import psutil
# Process.memory_info is expressed in bytes, so convert to megabytes
print(f"RAM used: {psutil.Process().memory_info().rss / (1024 * 1024):.2f} MB")
RAM used: 5678.33 MB
در اینجا ویژگی rss به اندازهی مجموعهی مقیم اشاره دارد؛ یعنی بخشی از حافظه که یک فرایند در RAM اشغال میکند. این اندازهگیری حافظهی استفادهشده توسط مفسر پایتون و کتابخانههای بارگذاریشده را نیز شامل میشود، بنابراین مقدار واقعی حافظهای که برای بارگذاری دیتاست مصرف شده کمی کمتر است. برای مقایسه، بیایید اندازهی دیتاست روی دیسک را با استفاده از ویژگی dataset_size ببینیم. از آنجا که نتیجه مانند قبل برحسب بایت بیان میشود، باید آن را دستی به گیگابایت تبدیل کنیم:
print(f"Dataset size in bytes: {pubmed_dataset.dataset_size}")
size_gb = pubmed_dataset.dataset_size / (1024**3)
print(f"Dataset size (cache file) : {size_gb:.2f} GB")
Dataset size in bytes : 20979437051
Dataset size (cache file) : 19.54 GB
عالی است — با اینکه اندازهی دیتاست تقریباً ۲۰ گیگابایت است، میتوانیم آن را با مقدار بسیار کمتری RAM بارگذاری و به آن دسترسی پیدا کنیم!
✏️ امتحان کنید! یکی از زیرمجموعههای Pile را که از RAM لپتاپ یا رایانهی شما بزرگتر است انتخاب کنید، آن را با 🤗 Datasets بارگذاری کنید و مقدار RAM مصرفشده را اندازه بگیرید. توجه کنید که برای اندازهگیری دقیق، بهتر است این کار را در یک فرایند جدید انجام دهید. اندازههای استخراجشدهی هر زیرمجموعه را میتوانید در جدول ۱ مقالهی Pile ببینید.
اگر با Pandas آشنا باشید، این نتیجه ممکن است بهخاطر قاعدهی سرانگشتی معروف وس کینی، که معمولاً به ۵ تا ۱۰ برابر اندازهی دیتاست RAM نیاز دارید، برایتان تعجبآور باشد. پس 🤗 Datasets چگونه این مشکل مدیریت حافظه را حل میکند؟ 🤗 Datasets هر دیتاست را بهعنوان یک فایل نگاشتشده در حافظه در نظر میگیرد. این فایل نگاشتی بین RAM و فضای ذخیرهسازی فایلسیستم فراهم میکند که به کتابخانه اجازه میدهد بدون بارگذاری کامل دیتاست در حافظه، به عناصر آن دسترسی پیدا کند و روی آنها عملیات انجام دهد.
فایلهای نگاشتشده در حافظه میتوانند بین چند فرایند نیز به اشتراک گذاشته شوند؛ در نتیجه متدهایی مانند Dataset.map() بدون جابهجا کردن یا کپی کردن دیتاست موازی میشوند. در پشت صحنه، این قابلیتها با قالب حافظهی Apache Arrow و کتابخانهی pyarrow پیادهسازی شدهاند و بارگذاری و پردازش داده را بسیار سریع میکنند. (برای جزئیات بیشتر دربارهی Apache Arrow و مقایسهی آن با Pandas، نوشتهی وبلاگی دژان سیمیچ را ببینید.) برای مشاهدهی این قابلیت در عمل، با پیمایش همهی عناصر دیتاست PubMed Abstracts یک آزمون سرعت کوچک اجرا کنیم:
import timeit
code_snippet = """batch_size = 1000
for idx in range(0, len(pubmed_dataset), batch_size):
_ = pubmed_dataset[idx:idx + batch_size]
"""
time = timeit.timeit(stmt=code_snippet, number=1, globals=globals())
print(
f"Iterated over {len(pubmed_dataset)} examples (about {size_gb:.1f} GB) in "
f"{time:.1f}s, i.e. {size_gb/time:.3f} GB/s"
)
'Iterated over 15518009 examples (about 19.5 GB) in 64.2s, i.e. 0.304 GB/s'
در اینجا از ماژول timeit پایتون برای اندازهگیری زمان اجرای code_snippet استفاده کردیم. معمولاً میتوانید دیتاست را با سرعتی از چند دهم گیگابایت بر ثانیه تا چند گیگابایت بر ثانیه پیمایش کنید. این روش برای بیشتر کاربردها عالی است، اما گاهی با دیتاستی کار خواهید کرد که حتی روی هارددیسک لپتاپتان هم جا نمیشود. برای مثال، اگر بخواهیم کل Pile را دانلود کنیم، به ۸۲۵ گیگابایت فضای خالی دیسک نیاز داریم! برای این موارد، 🤗 Datasets قابلیت streaming را ارائه میدهد که به ما اجازه میدهد بدون دانلود کل دیتاست، عناصر را هنگام نیاز دانلود و به آنها دسترسی پیدا کنیم. بیایید ببینیم این قابلیت چگونه کار میکند.
💡 در نوتبوکهای Jupyter میتوانید زمان اجرای سلولها را نیز با magic function
%%timeitاندازه بگیرید.
دیتاستهای جریاندادهشده[[streaming-datasets]]
برای فعال کردن جریاندهی دیتاست، کافی است آرگومان streaming=True را به تابع load_dataset() بدهید. برای مثال، بیایید دیتاست PubMed Abstracts را دوباره، اما در حالت streaming، بارگذاری کنیم:
pubmed_dataset_streamed = load_dataset(
"json", data_files=data_files, split="train", streaming=True
)
برخلاف Dataset آشنایی که در بخشهای دیگر این فصل دیدیم، شیئی که با streaming=True برگردانده میشود یک IterableDataset است. همانطور که از نامش پیداست، برای دسترسی به عناصر IterableDataset باید روی آن پیمایش انجام دهیم. میتوانیم به نخستین عنصر دیتاست جریاندادهشده به شکل زیر دسترسی پیدا کنیم:
next(iter(pubmed_dataset_streamed))
{'meta': {'pmid': 11409574, 'language': 'eng'},
'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'}
عناصر دیتاست جریاندادهشده را میتوان با استفاده از IterableDataset.map() هنگام نیاز پردازش کرد؛ این قابلیت هنگام تعلیم مفید است، اگر لازم باشد ورودیها را توکِنایز کنید. این فرایند دقیقاً مانند فرایندی است که برای توکِنایز کردن دیتاست در فصل ۳ استفاده کردیم، با این تفاوت که خروجیها یکییکی برگردانده میشوند:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
tokenized_dataset = pubmed_dataset_streamed.map(lambda x: tokenizer(x["text"]))
next(iter(tokenized_dataset))
{'input_ids': [101, 4958, 5178, 4328, 6779, ...], 'attention_mask': [1, 1, 1, 1, 1, ...]}
💡 برای سریعتر کردن توکِنایز کردن با streaming میتوانید همانطور که در بخش قبل دیدیم،
batched=Trueرا بدهید. این کار نمونهها را بتچبهبتچ پردازش میکند؛ اندازهی پیشفرض بتچ ۱۰۰۰ است و با آرگومانbatch_sizeقابل مشخص کردن است.
همچنین میتوانید با استفاده از IterableDataset.shuffle() یک دیتاست جریاندادهشده را shuffle کنید؛ اما برخلاف Dataset.shuffle()، این تابع فقط عناصر موجود در buffer_size از پیش تعیینشده را shuffle میکند:
shuffled_dataset = pubmed_dataset_streamed.shuffle(buffer_size=10_000, seed=42)
next(iter(shuffled_dataset))
{'meta': {'pmid': 11410799, 'language': 'eng'},
'text': 'Randomized study of dose or schedule modification of granulocyte colony-stimulating factor in platinum-based chemotherapy for elderly patients with lung cancer ...'}
در این مثال، یک نمونهی تصادفی را از میان ۱۰٬۰۰۰ نمونهی نخست موجود در buffer انتخاب کردیم. پس از دسترسی به یک نمونه، جای آن در buffer با نمونهی بعدی پیکره پر میشود (یعنی در مثال بالا نمونهی ۱۰٬۰۰۱ام). همچنین میتوانید با توابع IterableDataset.take() و IterableDataset.skip()، که مانند Dataset.select() عمل میکنند، عناصری را از دیتاست جریاندادهشده انتخاب کنید. برای مثال، برای انتخاب ۵ نمونهی نخست دیتاست PubMed Abstracts میتوانیم چنین کنیم:
dataset_head = pubmed_dataset_streamed.take(5)
list(dataset_head)
[{'meta': {'pmid': 11409574, 'language': 'eng'},
'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'},
{'meta': {'pmid': 11409575, 'language': 'eng'},
'text': 'Clinical signs of hypoxaemia in children with acute lower respiratory infection: indicators of oxygen therapy ...'},
{'meta': {'pmid': 11409576, 'language': 'eng'},
'text': "Hypoxaemia in children with severe pneumonia in Papua New Guinea ..."},
{'meta': {'pmid': 11409577, 'language': 'eng'},
'text': 'Oxygen concentrators and cylinders ...'},
{'meta': {'pmid': 11409578, 'language': 'eng'},
'text': 'Oxygen supply in rural africa: a personal experience ...'}]
به همین شکل، میتوانید از تابع IterableDataset.skip() برای ساخت splitهای تعلیم و اعتبارسنجی از یک دیتاست shuffleشده استفاده کنید:
# Skip the first 1,000 examples and include the rest in the training set
train_dataset = shuffled_dataset.skip(1000)
# Take the first 1,000 examples for the validation set
validation_dataset = shuffled_dataset.take(1000)
بیایید بررسی خود دربارهی جریاندهی دیتاست را با کاربردی متداول کامل کنیم: ترکیب چند دیتاست برای ساختن یک پیکرهی واحد. 🤗 Datasets تابع interleave_datasets() را ارائه میدهد که فهرستی از اشیای IterableDataset را به یک IterableDataset واحد تبدیل میکند؛ عناصر دیتاست جدید با انتخاب نوبتی از نمونههای منبع به دست میآیند. این تابع هنگام ترکیب دیتاستهای بزرگ بسیار مفید است. برای مثال، زیرمجموعهی FreeLaw از Pile را جریاندهی میکنیم که دیتاستی ۵۱ گیگابایتی از آرای حقوقی دادگاههای ایالات متحده است:
law_dataset_streamed = load_dataset(
"json",
data_files="https://the-eye.eu/public/AI/pile_preliminary_components/FreeLaw_Opinions.jsonl.zst",
split="train",
streaming=True,
)
next(iter(law_dataset_streamed))
{'meta': {'case_ID': '110921.json',
'case_jurisdiction': 'scotus.tar.gz',
'date_created': '2010-04-28T17:12:49Z'},
'text': '\n461 U.S. 238 (1983)\nOLIM ET AL.\nv.\nWAKINEKONA\nNo. 81-1581.\nSupreme Court of United States.\nArgued January 19, 1983.\nDecided April 26, 1983.\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'}
این دیتاست آنقدر بزرگ است که RAM بیشتر لپتاپها را تحت فشار قرار دهد، اما توانستهایم بدون دردسر آن را بارگذاری و به آن دسترسی پیدا کنیم! حالا بیایید نمونههای دیتاستهای FreeLaw و PubMed Abstracts را با تابع interleave_datasets() ترکیب کنیم:
from itertools import islice
from datasets import interleave_datasets
combined_dataset = interleave_datasets([pubmed_dataset_streamed, law_dataset_streamed])
list(islice(combined_dataset, 2))
[{'meta': {'pmid': 11409574, 'language': 'eng'},
'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'},
{'meta': {'case_ID': '110921.json',
'case_jurisdiction': 'scotus.tar.gz',
'date_created': '2010-04-28T17:12:49Z'},
'text': '\n461 U.S. 238 (1983)\nOLIM ET AL.\nv.\nWAKINEKONA\nNo. 81-1581.\nSupreme Court of United States.\nArgued January 19, 1983.\nDecided April 26, 1983.\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'}]
در اینجا از تابع islice() از ماژول itertools پایتون برای انتخاب دو نمونهی نخست از دیتاست ترکیبی استفاده کردیم و میبینیم که آنها با نمونههای نخست هر یک از دو دیتاست منبع مطابقت دارند.
در نهایت، اگر بخواهید Pile را بهطور کامل و در حجم ۸۲۵ گیگابایت جریاندهی کنید، میتوانید همهی فایلهای آماده را به شکل زیر دریافت کنید:
base_url = "https://the-eye.eu/public/AI/pile/"
data_files = {
"train": [base_url + "train/" + f"{idx:02d}.jsonl.zst" for idx in range(30)],
"validation": base_url + "val.jsonl.zst",
"test": base_url + "test.jsonl.zst",
}
pile_dataset = load_dataset("json", data_files=data_files, streaming=True)
next(iter(pile_dataset["train"]))
{'meta': {'pile_set_name': 'Pile-CC'},
'text': 'It is done, and submitted. You can play “Survival of the Tastiest” on Android, and on the web...'}
✏️ امتحان کنید! از یکی از پیکرههای بزرگ Common Crawl، مانند
mc4یاoscar، استفاده کنید تا دیتاستی چندزبانه و جریاندادهشده بسازید که نسبت گفتاری زبانها را در کشوری که انتخاب میکنید نشان دهد. برای مثال، چهار زبان ملی سوئیس آلمانی، فرانسوی، ایتالیایی و رومانش هستند؛ بنابراین میتوانید با نمونهگیری از زیرمجموعههای Oscar بر اساس نسبت گفتاری آنها، یک پیکرهی سوئیسی بسازید.
اکنون همهی ابزارهای لازم برای بارگذاری و پردازش دیتاستهایی با هر شکل و اندازهای را دارید — اما اگر بسیار خوششانس نباشید، در مسیر NLP شما زمانی میرسد که باید واقعاً برای حل مسئلهی پیشرو دیتاستی بسازید. موضوع بخش بعدی همین است!
Xet Storage Details
- Size:
- 22.8 kB
- Xet hash:
- c9f7e29377afdbb82ecc2dbf6f406806fa2274a2c4e71596bc25b0a9ab144d6f
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.