Buckets:

|
download
raw
1.83 kB

مقدمه[[introduction]]

در فصل ۳ نخستین آشنایی خود را با کتابخانه‌ی 🤗 Datasets به دست آوردید و دیدید که هنگام کوک کردن یک مدل، سه گام اصلی وجود دارد:

  1. یک دیتاست را از هاب هاگینگ‌فِیس بارگذاری کنید.
  2. داده‌ها را با Dataset.map() پیش‌پردازش کنید.
  3. معیارها را بارگذاری و محاسبه کنید.

اما این فقط سطح توانایی‌های 🤗 Datasets را نشان می‌دهد! در این فصل، عمیقاً در این کتابخانه کاوش می‌کنیم. در طول مسیر، پاسخ پرسش‌های زیر را پیدا خواهیم کرد:

  • وقتی دیتاست شما در هاب نیست، چه کار می‌کنید؟
  • چگونه می‌توانید یک دیتاست را برش دهید و قسمت‌بندی کنید؟ (و اگر واقعاً لازم باشد از Pandas استفاده کنید چه؟)
  • وقتی دیتاست شما آن‌قدر بزرگ است که RAM لپ‌تاپتان را از کار می‌اندازد، چه کار می‌کنید؟
  • «نگاشت حافظه» و Apache Arrow دیگر چه هستند؟
  • چگونه می‌توانید دیتاست خودتان را بسازید و آن را به هاب push کنید؟

تکنیک‌هایی که در اینجا یاد می‌گیرید، شما را برای وظایف پیشرفته‌ی توکِنایز کردن و کوک کردن در فصل ۶ و فصل ۷ آماده می‌کنند — پس یک فنجان قهوه بردارید و شروع کنیم!

Xet Storage Details

Size:
1.83 kB
·
Xet hash:
7f31e1e4831f3ac58af31a6e81b13b8fb018be79f383dea420f8518723bb1371

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.