Buckets:
مقدمه[[introduction]]
در فصل ۳ نخستین آشنایی خود را با کتابخانهی 🤗 Datasets به دست آوردید و دیدید که هنگام کوک کردن یک مدل، سه گام اصلی وجود دارد:
- یک دیتاست را از هاب هاگینگفِیس بارگذاری کنید.
- دادهها را با
Dataset.map()پیشپردازش کنید. - معیارها را بارگذاری و محاسبه کنید.
اما این فقط سطح تواناییهای 🤗 Datasets را نشان میدهد! در این فصل، عمیقاً در این کتابخانه کاوش میکنیم. در طول مسیر، پاسخ پرسشهای زیر را پیدا خواهیم کرد:
- وقتی دیتاست شما در هاب نیست، چه کار میکنید؟
- چگونه میتوانید یک دیتاست را برش دهید و قسمتبندی کنید؟ (و اگر واقعاً لازم باشد از Pandas استفاده کنید چه؟)
- وقتی دیتاست شما آنقدر بزرگ است که RAM لپتاپتان را از کار میاندازد، چه کار میکنید؟
- «نگاشت حافظه» و Apache Arrow دیگر چه هستند؟
- چگونه میتوانید دیتاست خودتان را بسازید و آن را به هاب push کنید؟
تکنیکهایی که در اینجا یاد میگیرید، شما را برای وظایف پیشرفتهی توکِنایز کردن و کوک کردن در فصل ۶ و فصل ۷ آماده میکنند — پس یک فنجان قهوه بردارید و شروع کنیم!
Xet Storage Details
- Size:
- 1.83 kB
- Xet hash:
- 7f31e1e4831f3ac58af31a6e81b13b8fb018be79f383dea420f8518723bb1371
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.