Buckets:

|
download
raw
29.3 kB

ساختن دیتاست خودتان[[creating-your-own-dataset]]

<CourseFloatingBanner chapter={5} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section5.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section5.ipynb"}, ]} />

گاهی دیتاستی که برای ساخت یک برنامه‌ی NLP به آن نیاز دارید وجود ندارد، بنابراین باید خودتان آن را بسازید. در این بخش نشان می‌دهیم چگونه پیکره‌ای از issueهای GitHub بسازید؛ issueهایی که معمولاً برای پیگیری باگ‌ها یا قابلیت‌ها در مخزن‌های GitHub استفاده می‌شوند. این پیکره را می‌توان برای اهداف مختلفی به کار برد، از جمله:

  • بررسی مدت‌زمان بسته شدن issueها یا pull requestهای باز
  • تعلیم یک دسته‌بند چندبرچسبی که بتواند بر اساس توضیح issue، متادیتاهایی مانند «باگ»، «بهبود» یا «پرسش» را به آن برچسب بزند
  • ساختن موتور جست‌وجوی معنایی برای پیدا کردن issueهایی که با پرس‌وجوی کاربر مطابقت دارند

در اینجا روی ساخت پیکره تمرکز می‌کنیم و در بخش بعدی سراغ برنامه‌ی جست‌وجوی معنایی می‌رویم. برای اینکه بحث همچنان رنگ‌وبوی متادیتا داشته باشد، از issueهای GitHub مربوط به یک پروژه‌ی متن‌باز محبوب، یعنی 🤗 Datasets، استفاده می‌کنیم! بیایید ببینیم چگونه داده‌ها را به دست آوریم و اطلاعات موجود در این issueها را بررسی کنیم.

به‌دست‌آوردن داده‌ها[[getting-the-data]]

می‌توانید همه‌ی issueهای 🤗 Datasets را با رفتن به زبانه‌ی Issues مخزن پیدا کنید. همان‌طور که در تصویر زیر نشان داده شده است، هنگام نگارش این متن ۳۳۱ issue باز و ۶۶۸ issue بسته وجود داشت.

اگر روی یکی از این issueها کلیک کنید، عنوان، توضیح و مجموعه‌ای از برچسب‌ها را می‌بینید که issue را توصیف می‌کنند. نمونه‌ای از آن در تصویر زیر نشان داده شده است.

برای دانلود همه‌ی issueهای مخزن، از GitHub REST API برای فراخوانی endpoint Issues استفاده می‌کنیم. این endpoint فهرستی از اشیای JSON برمی‌گرداند که هرکدام تعداد زیادی فیلد، از جمله عنوان و توضیح و متادیتایی درباره‌ی وضعیت issue و موارد دیگر، دارند.

یک راه مناسب برای دانلود issueها استفاده از کتابخانه‌ی requests است که روش استاندارد ارسال درخواست‌های HTTP در پایتون به شمار می‌رود. می‌توانید این کتابخانه را با اجرای دستور زیر نصب کنید:

!pip install requests

پس از نصب کتابخانه، می‌توانید با فراخوانی تابع requests.get() درخواست GET به endpoint Issues ارسال کنید. برای مثال، دستور زیر نخستین issue از صفحه‌ی اول را دریافت می‌کند:

import requests

url = "https://api.github.com/repos/huggingface/datasets/issues?page=1&per_page=1"
response = requests.get(url)

شیء response اطلاعات مفید زیادی درباره‌ی درخواست، از جمله کد وضعیت HTTP، دارد:

response.status_code
200

کد وضعیت 200 نشان می‌دهد درخواست موفق بوده است (فهرست کدهای وضعیت HTTP را می‌توانید اینجا ببینید). بااین‌حال، چیزی که واقعاً به آن علاقه داریم payload است که می‌توان به شکل‌های مختلفی مانند بایت، رشته یا JSON به آن دسترسی داشت. چون می‌دانیم issueهای ما در قالب JSON هستند، بیایید payload را این‌طور بررسی کنیم:

response.json()
[{'url': 'https://api.github.com/repos/huggingface/datasets/issues/2792',
  'repository_url': 'https://api.github.com/repos/huggingface/datasets',
  'labels_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/labels{/name}',
  'comments_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/comments',
  'events_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/events',
  'html_url': 'https://github.com/huggingface/datasets/pull/2792',
  'id': 968650274,
  'node_id': 'MDExOlB1bGxSZXF1ZXN0NzEwNzUyMjc0',
  'number': 2792,
  'title': 'Update GooAQ',
  'user': {'login': 'bhavitvyamalik',
   'id': 19718818,
   'node_id': 'MDQ6VXNlcjE5NzE4ODE4',
   'avatar_url': 'https://avatars.githubusercontent.com/u/19718818?v=4',
   'gravatar_id': '',
   'url': 'https://api.github.com/users/bhavitvyamalik',
   'html_url': 'https://github.com/bhavitvyamalik',
   'followers_url': 'https://api.github.com/users/bhavitvyamalik/followers',
   'following_url': 'https://api.github.com/users/bhavitvyamalik/following{/other_user}',
   'gists_url': 'https://api.github.com/users/bhavitvyamalik/gists{/gist_id}',
   'starred_url': 'https://api.github.com/users/bhavitvyamalik/starred{/owner}{/repo}',
   'subscriptions_url': 'https://api.github.com/users/bhavitvyamalik/subscriptions',
   'organizations_url': 'https://api.github.com/users/bhavitvyamalik/orgs',
   'repos_url': 'https://api.github.com/users/bhavitvyamalik/repos',
   'events_url': 'https://api.github.com/users/bhavitvyamalik/events{/privacy}',
   'received_events_url': 'https://api.github.com/users/bhavitvyamalik/received_events',
   'type': 'User',
   'site_admin': False},
  'labels': [],
  'state': 'open',
  'locked': False,
  'assignee': None,
  'assignees': [],
  'milestone': None,
  'comments': 1,
  'created_at': '2021-08-12T11:40:18Z',
  'updated_at': '2021-08-12T12:31:17Z',
  'closed_at': None,
  'author_association': 'CONTRIBUTOR',
  'active_lock_reason': None,
  'pull_request': {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/2792',
   'html_url': 'https://github.com/huggingface/datasets/pull/2792',
   'diff_url': 'https://github.com/huggingface/datasets/pull/2792.diff',
   'patch_url': 'https://github.com/huggingface/datasets/pull/2792.patch'},
  'body': '[GooAQ](https://github.com/allenai/gooaq) dataset was recently updated after splits were added for the same. This PR contains new updated GooAQ with train/val/test splits and updated README as well.',
  'performed_via_github_app': None}]

وای، این اطلاعات خیلی زیاد است! می‌توانیم فیلدهای مفیدی مانند title، body و number را ببینیم که issue را توصیف می‌کنند، و همچنین اطلاعات کاربری را که issue را باز کرده است.

✏️ امتحان کنید! روی چند URL موجود در payload JSON بالا کلیک کنید تا ببینید هر issue به چه نوع اطلاعاتی مرتبط است.

طبق توضیح مستندات GitHub، درخواست‌های بدون احراز هویت به ۶۰ درخواست در ساعت محدود هستند. اگرچه می‌توانید پارامتر per_page را افزایش دهید تا تعداد درخواست‌ها کم شود، روی هر مخزنی که بیش از چند هزار issue داشته باشد باز هم به محدودیت نرخ درخواست می‌خورید. بنابراین باید دستورالعمل GitHub برای ساخت یک personal access token را دنبال کنید تا محدودیت نرخ را به ۵۰۰۰ درخواست در ساعت افزایش دهید. پس از ساخت توکِن، می‌توانید آن را در بخشی از header درخواست قرار دهید:

GITHUB_TOKEN = xxx  # Copy your GitHub token here
headers = {"Authorization": f"token {GITHUB_TOKEN}"}

⚠️ نوت‌بوکی را که GITHUB_TOKEN در آن وارد شده است به اشتراک نگذارید. پیشنهاد می‌کنیم پس از اجرای آخرین سلول، آن را حذف کنید تا این اطلاعات تصادفاً افشا نشود. حتی بهتر است توکِن را در یک فایل .env ذخیره کنید و از python-dotenv برای بارگذاری خودکار آن به‌عنوان متغیر محیطی استفاده کنید.

حالا که توکِن دسترسی خود را داریم، تابعی می‌سازیم که بتواند همه‌ی issueهای یک مخزن GitHub را دانلود کند:

import time
import math
from pathlib import Path
import pandas as pd
from tqdm.notebook import tqdm

def fetch_issues(
    owner="huggingface",
    repo="datasets",
    num_issues=10_000,
    rate_limit=5_000,
    issues_path=Path("."),
):
    if not issues_path.is_dir():
        issues_path.mkdir(exist_ok=True)

    batch = []
    all_issues = []
    per_page = 100  # Number of issues to return per page
    num_pages = math.ceil(num_issues / per_page)
    base_url = "https://api.github.com/repos"

    for page in tqdm(range(num_pages)):
        # Query with state=all to get both open and closed issues
        query = f"issues?page={page}&per_page={per_page}&state=all"
        issues = requests.get(f"{base_url}/{owner}/{repo}/{query}", headers=headers)
        batch.extend(issues.json())

        if len(batch) > rate_limit and len(all_issues) < num_issues:
            all_issues.extend(batch)
            batch = []  # Flush batch for next time period
            print(f"Reached GitHub rate limit. Sleeping for one hour ...")
            time.sleep(60 * 60 + 1)

    all_issues.extend(batch)
    df = pd.DataFrame.from_records(all_issues)
    df.to_json(f"{issues_path}/{repo}-issues.jsonl", orient="records", lines=True)
    print(
        f"Downloaded all the issues for {repo}! Dataset stored at {issues_path}/{repo}-issues.jsonl"
    )

حالا که fetch_issues() را فراخوانی کنیم، issueها را به‌صورت بتچ‌هایی دانلود می‌کند تا از عبور از محدودیت ساعتی GitHub جلوگیری شود؛ نتیجه در فایلی با نام repository_name-issues.jsonl ذخیره می‌شود و هر خط آن یک شیء JSON است که یک issue را نمایش می‌دهد. بیایید با این تابع همه‌ی issueهای 🤗 Datasets را دریافت کنیم:

# Depending on your internet connection, this can take several minutes to run...
fetch_issues()

پس از دانلود issueها، می‌توانیم با مهارت‌های تازه‌ای که از بخش ۲ یاد گرفته‌ایم آن‌ها را به‌صورت محلی بارگذاری کنیم:

issues_dataset = load_dataset("json", data_files="datasets-issues.jsonl", split="train")
issues_dataset
Dataset({
    features: ['url', 'repository_url', 'labels_url', 'comments_url', 'events_url', 'html_url', 'id', 'node_id', 'number', 'title', 'user', 'labels', 'state', 'locked', 'assignee', 'assignees', 'milestone', 'comments', 'created_at', 'updated_at', 'closed_at', 'author_association', 'active_lock_reason', 'pull_request', 'body', 'timeline_url', 'performed_via_github_app'],
    num_rows: 3019
})

عالی است، نخستین دیتاست خود را از صفر ساختیم! اما چرا چند هزار issue وجود دارد، در حالی که زبانه‌ی Issues مخزن 🤗 Datasets در مجموع فقط حدود ۱۰۰۰ issue نشان می‌دهد 🤔؟ همان‌طور که در مستندات GitHub توضیح داده شده است، دلیلش این است که همه‌ی pull requestها را نیز دانلود کرده‌ایم:

از دید GitHub REST API v3، هر pull request یک issue محسوب می‌شود، اما هر issue یک pull request نیست. به همین دلیل endpointهای «Issues» ممکن است هم issueها و هم pull requestها را در پاسخ برگردانند. می‌توانید pull requestها را با کلید pull_request شناسایی کنید. توجه داشته باشید id یک pull request که از endpointهای «Issues» برگردانده می‌شود، شناسه‌ی یک issue خواهد بود.

از آنجا که محتوای issueها و pull requestها کاملاً متفاوت است، بیایید پیش‌پردازش کوچکی انجام دهیم تا بتوانیم آن‌ها را از هم تشخیص دهیم.

پاک‌سازی داده‌ها[[cleaning-up-the-data]]

قطعه‌ی بالا از مستندات GitHub به ما می‌گوید که می‌توان از ستون pull_request برای تشخیص issueها از pull requestها استفاده کرد. بیایید یک نمونه‌ی تصادفی ببینیم تا تفاوت آن‌ها مشخص شود. همان‌طور که در بخش ۳ انجام دادیم، توابع Dataset.shuffle() و Dataset.select() را زنجیره می‌کنیم تا یک نمونه‌ی تصادفی بسازیم، سپس ستون‌های html_url و pull_request را با هم zip می‌کنیم تا URLهای مختلف را مقایسه کنیم:

sample = issues_dataset.shuffle(seed=666).select(range(3))

# Print out the URL and pull request entries
for url, pr in zip(sample["html_url"], sample["pull_request"]):
    print(f">> URL: {url}")
    print(f">> Pull request: {pr}\n")
>> URL: https://github.com/huggingface/datasets/pull/850
>> Pull request: {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/850', 'html_url': 'https://github.com/huggingface/datasets/pull/850', 'diff_url': 'https://github.com/huggingface/datasets/pull/850.diff', 'patch_url': 'https://github.com/huggingface/datasets/pull/850.patch'}

>> URL: https://github.com/huggingface/datasets/issues/2773
>> Pull request: None

>> URL: https://github.com/huggingface/datasets/pull/783
>> Pull request: {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/783', 'html_url': 'https://github.com/huggingface/datasets/pull/783', 'diff_url': 'https://github.com/huggingface/datasets/pull/783.diff', 'patch_url': 'https://github.com/huggingface/datasets/pull/783.patch'}

در اینجا می‌بینیم هر pull request با چند URL مرتبط است، در حالی که issueهای معمولی ورودی None دارند. می‌توانیم از این تفاوت استفاده کنیم و ستون جدیدی به نام is_pull_request بسازیم که بررسی کند فیلد pull_request مقدار None دارد یا نه:

issues_dataset = issues_dataset.map(
    lambda x: {"is_pull_request": False if x["pull_request"] is None else True}
)

✏️ امتحان کنید! میانگین زمان بسته شدن issueها در 🤗 Datasets را محاسبه کنید. احتمالاً تابع Dataset.filter() برای فیلتر کردن pull requestها و issueهای باز مفید خواهد بود و می‌توانید از تابع Dataset.set_format() برای تبدیل دیتاست به DataFrame استفاده کنید تا دست‌کاری timestampهای created_at و closed_at آسان‌تر شود. برای امتیاز بیشتر، میانگین زمان بسته شدن pull requestها را نیز محاسبه کنید.

اگرچه می‌توانستیم با حذف یا تغییر نام برخی ستون‌ها دیتاست را بیشتر پاک‌سازی کنیم، در این مرحله معمولاً بهتر است دیتاست را تا حد امکان «خام» نگه داریم تا بتوان به‌سادگی از آن در برنامه‌های مختلف استفاده کرد.

پیش از push کردن دیتاست به هاب هاگینگ‌فِیس، بیایید با چیزی که در آن کم است برخورد کنیم: commentهای مربوط به هر issue و pull request. در ادامه آن‌ها را اضافه می‌کنیم — بله، درست حدس زدید — با GitHub REST API!

غنی‌سازی دیتاست[[augmenting-the-dataset]]

همان‌طور که در تصویر زیر نشان داده شده است، commentهای مربوط به یک issue یا pull request منبع اطلاعاتی غنی‌ای هستند؛ به‌خصوص اگر به ساخت موتور جست‌وجویی برای پاسخ به پرس‌وجوهای کاربران درباره‌ی کتابخانه علاقه‌مند باشیم.

GitHub REST API یک endpoint به نام Comments ارائه می‌دهد که همه‌ی commentهای مرتبط با شماره‌ی یک issue را برمی‌گرداند. بیایید endpoint را آزمایش کنیم تا ببینیم چه چیزی برمی‌گرداند:

issue_number = 2792
url = f"https://api.github.com/repos/huggingface/datasets/issues/{issue_number}/comments"
response = requests.get(url, headers=headers)
response.json()
[{'url': 'https://api.github.com/repos/huggingface/datasets/issues/comments/897594128',
  'html_url': 'https://github.com/huggingface/datasets/pull/2792#issuecomment-897594128',
  'issue_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792',
  'id': 897594128,
  'node_id': 'IC_kwDODunzps41gDMQ',
  'user': {'login': 'bhavitvyamalik',
   'id': 19718818,
   'node_id': 'MDQ6VXNlcjE5NzE4ODE4',
   'avatar_url': 'https://avatars.githubusercontent.com/u/19718818?v=4',
   'gravatar_id': '',
   'url': 'https://api.github.com/users/bhavitvyamalik',
   'html_url': 'https://github.com/bhavitvyamalik',
   'followers_url': 'https://api.github.com/users/bhavitvyamalik/followers',
   'following_url': 'https://api.github.com/users/bhavitvyamalik/following{/other_user}',
   'gists_url': 'https://api.github.com/users/bhavitvyamalik/gists{/gist_id}',
   'starred_url': 'https://api.github.com/users/bhavitvyamalik/starred{/owner}{/repo}',
   'subscriptions_url': 'https://api.github.com/users/bhavitvyamalik/subscriptions',
   'organizations_url': 'https://api.github.com/users/bhavitvyamalik/orgs',
   'repos_url': 'https://api.github.com/users/bhavitvyamalik/repos',
   'events_url': 'https://api.github.com/users/bhavitvyamalik/events{/privacy}',
   'received_events_url': 'https://api.github.com/users/bhavitvyamalik/received_events',
   'type': 'User',
   'site_admin': False},
  'created_at': '2021-08-12T12:21:52Z',
  'updated_at': '2021-08-12T12:31:17Z',
  'author_association': 'CONTRIBUTOR',
  'body': "@albertvillanova my tests are failing here:\r\n```\r\ndataset_name = 'gooaq'\r\n\r\n    def test_load_dataset(self, dataset_name):\r\n        configs = self.dataset_tester.load_all_configs(dataset_name, is_local=True)[:1]\r\n>       self.dataset_tester.check_load_dataset(dataset_name, configs, is_local=True, use_local_dummy_data=True)\r\n\r\ntests/test_dataset_common.py:234: \r\n_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ \r\ntests/test_dataset_common.py:187: in check_load_dataset\r\n    self.parent.assertTrue(len(dataset[split]) > 0)\r\nE   AssertionError: False is not true\r\n```\r\nWhen I try loading dataset on local machine it works fine. Any suggestions on how can I avoid this error?",
  'performed_via_github_app': None}]

می‌بینیم comment در فیلد body ذخیره شده است، پس بیایید تابع ساده‌ای بنویسیم که با انتخاب محتوای body برای هر عنصر در response.json()، همه‌ی commentهای یک issue را برگرداند:

def get_comments(issue_number):
    url = f"https://api.github.com/repos/huggingface/datasets/issues/{issue_number}/comments"
    response = requests.get(url, headers=headers)
    return [r["body"] for r in response.json()]

# Test our function works as expected
get_comments(2792)
["@albertvillanova my tests are failing here:\r\n```\r\ndataset_name = 'gooaq'\r\n\r\n    def test_load_dataset(self, dataset_name):\r\n        configs = self.dataset_tester.load_all_configs(dataset_name, is_local=True)[:1]\r\n>       self.dataset_tester.check_load_dataset(dataset_name, configs, is_local=True, use_local_dummy_data=True)\r\n\r\ntests/test_dataset_common.py:234: \r\n_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ \r\ntests/test_dataset_common.py:187: in check_load_dataset\r\n    self.parent.assertTrue(len(dataset[split]) > 0)\r\nE   AssertionError: False is not true\r\n```\r\nWhen I try loading dataset on local machine it works fine. Any suggestions on how can I avoid this error?"]

این خروجی خوب به نظر می‌رسد، پس از Dataset.map() استفاده می‌کنیم تا ستون جدید comments را به هر issue دیتاست اضافه کنیم:

# Depending on your internet connection, this can take a few minutes...
issues_with_comments_dataset = issues_dataset.map(
    lambda x: {"comments": get_comments(x["number"])}
)

گام نهایی، push کردن دیتاست به هاب است. بیایید ببینیم چگونه این کار را انجام دهیم.

بارگذاری دیتاست در هاب هاگینگ‌فِیس[[uploading-the-dataset-to-the-hugging-face-hub]]

حالا که دیتاست غنی‌شده‌ی خود را داریم، وقت آن است که آن را به هاب push کنیم تا بتوانیم با جامعه کاربران به اشتراک بگذاریم! بارگذاری دیتاست بسیار ساده است: درست مانند مدل‌ها و توکِنایزرهای 🤗 Transformers، می‌توانیم از متد push_to_hub() برای push کردن دیتاست استفاده کنیم. برای این کار به توکِن احراز هویتی نیاز داریم که با ورود به هاب هاگینگ‌فِیس و استفاده از تابع notebook_login() به دست می‌آید:

from huggingface_hub import notebook_login

notebook_login()

این کار widgetی ایجاد می‌کند که می‌توانید نام کاربری و گذرواژه‌ی خود را در آن وارد کنید و توکِن API در ~/.huggingface/token ذخیره می‌شود. اگر کد را در ترمینال اجرا می‌کنید، می‌توانید به‌جای آن با CLI وارد شوید:

huggingface-cli login

پس از انجام این کار، می‌توانیم با اجرای دستور زیر دیتاست را بارگذاری کنیم:

issues_with_comments_dataset.push_to_hub("github-issues")

از اینجا به بعد، هرکس می‌تواند با دادن شناسه‌ی مخزن به آرگومان path تابع load_dataset() دیتاست را دانلود کند:

remote_dataset = load_dataset("lewtun/github-issues", split="train")
remote_dataset
Dataset({
    features: ['url', 'repository_url', 'labels_url', 'comments_url', 'events_url', 'html_url', 'id', 'node_id', 'number', 'title', 'user', 'labels', 'state', 'locked', 'assignee', 'assignees', 'milestone', 'comments', 'created_at', 'updated_at', 'closed_at', 'author_association', 'active_lock_reason', 'pull_request', 'body', 'performed_via_github_app', 'is_pull_request'],
    num_rows: 2855
})

عالی است، دیتاست را به هاب push کردیم و اکنون دیگران نیز می‌توانند از آن استفاده کنند! فقط یک کار مهم دیگر باقی مانده است: افزودن کارت دیتاست که توضیح دهد پیکره چگونه ساخته شده و اطلاعات مفید دیگری برای جامعه ارائه کند.

💡 همچنین می‌توانید دیتاست را مستقیماً از ترمینال و با استفاده از huggingface-cli و کمی جادوی Git در هاب هاگینگ‌فِیس بارگذاری کنید. برای جزئیات، راهنمای 🤗 Datasets را ببینید.

ساختن کارت دیتاست[[creating-a-dataset-card]]

دیتاست‌هایی که خوب مستند شده‌اند احتمال بیشتری دارد برای دیگران (از جمله خود آینده‌ی شما!) مفید باشند، چون زمینه‌ای فراهم می‌کنند تا کاربران تصمیم بگیرند دیتاست برای مسئله‌ی آن‌ها مناسب است یا نه و سوگیری‌ها یا خطرهای احتمالی استفاده از دیتاست را ارزیابی کنند.

در هاب هاگینگ‌فِیس، این اطلاعات در فایل README.md هر مخزن دیتاست ذخیره می‌شود. پیش از ساختن این فایل، دو گام اصلی وجود دارد:

  1. از برنامه‌ی datasets-tagging برای ساخت برچسب‌های متادیتا در قالب YAML استفاده کنید. این برچسب‌ها برای قابلیت‌های مختلف جست‌وجو در هاب هاگینگ‌فِیس به کار می‌روند و باعث می‌شوند اعضای جامعه بتوانند به‌راحتی دیتاست شما را پیدا کنند. چون در اینجا دیتاستی سفارشی ساخته‌ایم، باید مخزن datasets-tagging را clone کنید و برنامه را به‌صورت محلی اجرا کنید. رابط برنامه به شکل زیر است:

  2. راهنمای 🤗 Datasets درباره‌ی ساخت کارت‌های دیتاست آموزنده را بخوانید و از آن به‌عنوان الگو استفاده کنید.

می‌توانید فایل README.md را مستقیماً در هاب بسازید و یک کارت دیتاست نمونه را در مخزن دیتاست lewtun/github-issues پیدا کنید. تصویر زیر نمونه‌ای از کارت دیتاست تکمیل‌شده را نشان می‌دهد.

✏️ امتحان کنید! از برنامه‌ی dataset-tagging و راهنمای 🤗 Datasets استفاده کنید تا فایل README.md دیتاست issueهای GitHub خود را تکمیل کنید.

همین بود! در این بخش دیدیم که ساختن یک دیتاست خوب می‌تواند کار نسبتاً پیچیده‌ای باشد، اما خوشبختانه بارگذاری و به‌اشتراک‌گذاری آن با جامعه پیچیده نیست. در بخش بعدی از دیتاست جدیدمان برای ساختن یک موتور جست‌وجوی معنایی با 🤗 Datasets استفاده می‌کنیم که می‌تواند پرسش‌ها را با مرتبط‌ترین issueها و commentها تطبیق دهد.

✏️ امتحان کنید! مراحلی را که در این بخش برای ساخت دیتاستی از issueهای GitHub طی کردیم، برای کتابخانه‌ی متن‌باز موردعلاقه‌ی خود تکرار کنید (البته پروژه‌ای غیر از 🤗 Datasets انتخاب کنید!). برای امتیاز بیشتر، یک دسته‌بند چندبرچسبی را کوک کنید تا برچسب‌های موجود در فیلد labels را پیش‌بینی کند.

Xet Storage Details

Size:
29.3 kB
·
Xet hash:
a8324895d8c11b9247f5fb58dfa2e0cbfcd3343fcf83efef8d1adde95d3560c0

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.