Buckets:
| # ساختن دیتاست خودتان[[creating-your-own-dataset]] | |
| <CourseFloatingBanner chapter={5} | |
| classNames="absolute z-10 right-0 top-0" | |
| notebooks={[ | |
| {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section5.ipynb"}, | |
| {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section5.ipynb"}, | |
| ]} /> | |
| گاهی دیتاستی که برای ساخت یک برنامهی NLP به آن نیاز دارید وجود ندارد، بنابراین باید خودتان آن را بسازید. در این بخش نشان میدهیم چگونه پیکرهای از [issueهای GitHub](https://github.com/features/issues/) بسازید؛ issueهایی که معمولاً برای پیگیری باگها یا قابلیتها در مخزنهای GitHub استفاده میشوند. این پیکره را میتوان برای اهداف مختلفی به کار برد، از جمله: | |
| * بررسی مدتزمان بسته شدن issueها یا pull requestهای باز | |
| * تعلیم یک _دستهبند چندبرچسبی_ که بتواند بر اساس توضیح issue، متادیتاهایی مانند «باگ»، «بهبود» یا «پرسش» را به آن برچسب بزند | |
| * ساختن موتور جستوجوی معنایی برای پیدا کردن issueهایی که با پرسوجوی کاربر مطابقت دارند | |
| در اینجا روی ساخت پیکره تمرکز میکنیم و در بخش بعدی سراغ برنامهی جستوجوی معنایی میرویم. برای اینکه بحث همچنان رنگوبوی متادیتا داشته باشد، از issueهای GitHub مربوط به یک پروژهی متنباز محبوب، یعنی 🤗 Datasets، استفاده میکنیم! بیایید ببینیم چگونه دادهها را به دست آوریم و اطلاعات موجود در این issueها را بررسی کنیم. | |
| ## بهدستآوردن دادهها[[getting-the-data]] | |
| میتوانید همهی issueهای 🤗 Datasets را با رفتن به [زبانهی Issues](https://github.com/huggingface/datasets/issues) مخزن پیدا کنید. همانطور که در تصویر زیر نشان داده شده است، هنگام نگارش این متن ۳۳۱ issue باز و ۶۶۸ issue بسته وجود داشت. | |
| اگر روی یکی از این issueها کلیک کنید، عنوان، توضیح و مجموعهای از برچسبها را میبینید که issue را توصیف میکنند. نمونهای از آن در تصویر زیر نشان داده شده است. | |
| برای دانلود همهی issueهای مخزن، از [GitHub REST API](https://docs.github.com/en/rest) برای فراخوانی endpoint [`Issues`](https://docs.github.com/en/rest/reference/issues#list-repository-issues) استفاده میکنیم. این endpoint فهرستی از اشیای JSON برمیگرداند که هرکدام تعداد زیادی فیلد، از جمله عنوان و توضیح و متادیتایی دربارهی وضعیت issue و موارد دیگر، دارند. | |
| یک راه مناسب برای دانلود issueها استفاده از کتابخانهی `requests` است که روش استاندارد ارسال درخواستهای HTTP در پایتون به شمار میرود. میتوانید این کتابخانه را با اجرای دستور زیر نصب کنید: | |
| ```python | |
| !pip install requests | |
| ``` | |
| پس از نصب کتابخانه، میتوانید با فراخوانی تابع `requests.get()` درخواست GET به endpoint `Issues` ارسال کنید. برای مثال، دستور زیر نخستین issue از صفحهی اول را دریافت میکند: | |
| ```py | |
| import requests | |
| url = "https://api.github.com/repos/huggingface/datasets/issues?page=1&per_page=1" | |
| response = requests.get(url) | |
| ``` | |
| شیء `response` اطلاعات مفید زیادی دربارهی درخواست، از جمله کد وضعیت HTTP، دارد: | |
| ```py | |
| response.status_code | |
| ``` | |
| ```python out | |
| 200 | |
| ``` | |
| کد وضعیت `200` نشان میدهد درخواست موفق بوده است (فهرست کدهای وضعیت HTTP را میتوانید [اینجا](https://en.wikipedia.org/wiki/List_of_HTTP_status_codes) ببینید). بااینحال، چیزی که واقعاً به آن علاقه داریم _payload_ است که میتوان به شکلهای مختلفی مانند بایت، رشته یا JSON به آن دسترسی داشت. چون میدانیم issueهای ما در قالب JSON هستند، بیایید payload را اینطور بررسی کنیم: | |
| ```py | |
| response.json() | |
| ``` | |
| ```python out | |
| [{'url': 'https://api.github.com/repos/huggingface/datasets/issues/2792', | |
| 'repository_url': 'https://api.github.com/repos/huggingface/datasets', | |
| 'labels_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/labels{/name}', | |
| 'comments_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/comments', | |
| 'events_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792/events', | |
| 'html_url': 'https://github.com/huggingface/datasets/pull/2792', | |
| 'id': 968650274, | |
| 'node_id': 'MDExOlB1bGxSZXF1ZXN0NzEwNzUyMjc0', | |
| 'number': 2792, | |
| 'title': 'Update GooAQ', | |
| 'user': {'login': 'bhavitvyamalik', | |
| 'id': 19718818, | |
| 'node_id': 'MDQ6VXNlcjE5NzE4ODE4', | |
| 'avatar_url': 'https://avatars.githubusercontent.com/u/19718818?v=4', | |
| 'gravatar_id': '', | |
| 'url': 'https://api.github.com/users/bhavitvyamalik', | |
| 'html_url': 'https://github.com/bhavitvyamalik', | |
| 'followers_url': 'https://api.github.com/users/bhavitvyamalik/followers', | |
| 'following_url': 'https://api.github.com/users/bhavitvyamalik/following{/other_user}', | |
| 'gists_url': 'https://api.github.com/users/bhavitvyamalik/gists{/gist_id}', | |
| 'starred_url': 'https://api.github.com/users/bhavitvyamalik/starred{/owner}{/repo}', | |
| 'subscriptions_url': 'https://api.github.com/users/bhavitvyamalik/subscriptions', | |
| 'organizations_url': 'https://api.github.com/users/bhavitvyamalik/orgs', | |
| 'repos_url': 'https://api.github.com/users/bhavitvyamalik/repos', | |
| 'events_url': 'https://api.github.com/users/bhavitvyamalik/events{/privacy}', | |
| 'received_events_url': 'https://api.github.com/users/bhavitvyamalik/received_events', | |
| 'type': 'User', | |
| 'site_admin': False}, | |
| 'labels': [], | |
| 'state': 'open', | |
| 'locked': False, | |
| 'assignee': None, | |
| 'assignees': [], | |
| 'milestone': None, | |
| 'comments': 1, | |
| 'created_at': '2021-08-12T11:40:18Z', | |
| 'updated_at': '2021-08-12T12:31:17Z', | |
| 'closed_at': None, | |
| 'author_association': 'CONTRIBUTOR', | |
| 'active_lock_reason': None, | |
| 'pull_request': {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/2792', | |
| 'html_url': 'https://github.com/huggingface/datasets/pull/2792', | |
| 'diff_url': 'https://github.com/huggingface/datasets/pull/2792.diff', | |
| 'patch_url': 'https://github.com/huggingface/datasets/pull/2792.patch'}, | |
| 'body': '[GooAQ](https://github.com/allenai/gooaq) dataset was recently updated after splits were added for the same. This PR contains new updated GooAQ with train/val/test splits and updated README as well.', | |
| 'performed_via_github_app': None}] | |
| ``` | |
| وای، این اطلاعات خیلی زیاد است! میتوانیم فیلدهای مفیدی مانند `title`، `body` و `number` را ببینیم که issue را توصیف میکنند، و همچنین اطلاعات کاربری را که issue را باز کرده است. | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** روی چند URL موجود در payload JSON بالا کلیک کنید تا ببینید هر issue به چه نوع اطلاعاتی مرتبط است. | |
| طبق توضیح [مستندات GitHub](https://docs.github.com/en/rest/overview/resources-in-the-rest-api#rate-limiting)، درخواستهای بدون احراز هویت به ۶۰ درخواست در ساعت محدود هستند. اگرچه میتوانید پارامتر `per_page` را افزایش دهید تا تعداد درخواستها کم شود، روی هر مخزنی که بیش از چند هزار issue داشته باشد باز هم به محدودیت نرخ درخواست میخورید. بنابراین باید [دستورالعمل GitHub](https://docs.github.com/en/github/authenticating-to-github/creating-a-personal-access-token) برای ساخت یک _personal access token_ را دنبال کنید تا محدودیت نرخ را به ۵۰۰۰ درخواست در ساعت افزایش دهید. پس از ساخت توکِن، میتوانید آن را در بخشی از header درخواست قرار دهید: | |
| ```py | |
| GITHUB_TOKEN = xxx # Copy your GitHub token here | |
| headers = {"Authorization": f"token {GITHUB_TOKEN}"} | |
| ``` | |
| > [!WARNING] | |
| > ⚠️ نوتبوکی را که `GITHUB_TOKEN` در آن وارد شده است به اشتراک نگذارید. پیشنهاد میکنیم پس از اجرای آخرین سلول، آن را حذف کنید تا این اطلاعات تصادفاً افشا نشود. حتی بهتر است توکِن را در یک فایل *.env* ذخیره کنید و از [`python-dotenv`](https://github.com/theskumar/python-dotenv) برای بارگذاری خودکار آن بهعنوان متغیر محیطی استفاده کنید. | |
| حالا که توکِن دسترسی خود را داریم، تابعی میسازیم که بتواند همهی issueهای یک مخزن GitHub را دانلود کند: | |
| ```py | |
| import time | |
| import math | |
| from pathlib import Path | |
| import pandas as pd | |
| from tqdm.notebook import tqdm | |
| def fetch_issues( | |
| owner="huggingface", | |
| repo="datasets", | |
| num_issues=10_000, | |
| rate_limit=5_000, | |
| issues_path=Path("."), | |
| ): | |
| if not issues_path.is_dir(): | |
| issues_path.mkdir(exist_ok=True) | |
| batch = [] | |
| all_issues = [] | |
| per_page = 100 # Number of issues to return per page | |
| num_pages = math.ceil(num_issues / per_page) | |
| base_url = "https://api.github.com/repos" | |
| for page in tqdm(range(num_pages)): | |
| # Query with state=all to get both open and closed issues | |
| query = f"issues?page={page}&per_page={per_page}&state=all" | |
| issues = requests.get(f"{base_url}/{owner}/{repo}/{query}", headers=headers) | |
| batch.extend(issues.json()) | |
| if len(batch) > rate_limit and len(all_issues) < num_issues: | |
| all_issues.extend(batch) | |
| batch = [] # Flush batch for next time period | |
| print(f"Reached GitHub rate limit. Sleeping for one hour ...") | |
| time.sleep(60 * 60 + 1) | |
| all_issues.extend(batch) | |
| df = pd.DataFrame.from_records(all_issues) | |
| df.to_json(f"{issues_path}/{repo}-issues.jsonl", orient="records", lines=True) | |
| print( | |
| f"Downloaded all the issues for {repo}! Dataset stored at {issues_path}/{repo}-issues.jsonl" | |
| ) | |
| ``` | |
| حالا که `fetch_issues()` را فراخوانی کنیم، issueها را بهصورت بتچهایی دانلود میکند تا از عبور از محدودیت ساعتی GitHub جلوگیری شود؛ نتیجه در فایلی با نام _repository_name-issues.jsonl_ ذخیره میشود و هر خط آن یک شیء JSON است که یک issue را نمایش میدهد. بیایید با این تابع همهی issueهای 🤗 Datasets را دریافت کنیم: | |
| ```py | |
| # Depending on your internet connection, this can take several minutes to run... | |
| fetch_issues() | |
| ``` | |
| پس از دانلود issueها، میتوانیم با مهارتهای تازهای که از [بخش ۲](/course/chapter5/2) یاد گرفتهایم آنها را بهصورت محلی بارگذاری کنیم: | |
| ```py | |
| issues_dataset = load_dataset("json", data_files="datasets-issues.jsonl", split="train") | |
| issues_dataset | |
| ``` | |
| ```python out | |
| Dataset({ | |
| features: ['url', 'repository_url', 'labels_url', 'comments_url', 'events_url', 'html_url', 'id', 'node_id', 'number', 'title', 'user', 'labels', 'state', 'locked', 'assignee', 'assignees', 'milestone', 'comments', 'created_at', 'updated_at', 'closed_at', 'author_association', 'active_lock_reason', 'pull_request', 'body', 'timeline_url', 'performed_via_github_app'], | |
| num_rows: 3019 | |
| }) | |
| ``` | |
| عالی است، نخستین دیتاست خود را از صفر ساختیم! اما چرا چند هزار issue وجود دارد، در حالی که [زبانهی Issues](https://github.com/huggingface/datasets/issues) مخزن 🤗 Datasets در مجموع فقط حدود ۱۰۰۰ issue نشان میدهد 🤔؟ همانطور که در [مستندات GitHub](https://docs.github.com/en/rest/reference/issues#list-issues-assigned-to-the-authenticated-user) توضیح داده شده است، دلیلش این است که همهی pull requestها را نیز دانلود کردهایم: | |
| > از دید GitHub REST API v3، هر pull request یک issue محسوب میشود، اما هر issue یک pull request نیست. به همین دلیل endpointهای «Issues» ممکن است هم issueها و هم pull requestها را در پاسخ برگردانند. میتوانید pull requestها را با کلید `pull_request` شناسایی کنید. توجه داشته باشید `id` یک pull request که از endpointهای «Issues» برگردانده میشود، شناسهی یک issue خواهد بود. | |
| از آنجا که محتوای issueها و pull requestها کاملاً متفاوت است، بیایید پیشپردازش کوچکی انجام دهیم تا بتوانیم آنها را از هم تشخیص دهیم. | |
| ## پاکسازی دادهها[[cleaning-up-the-data]] | |
| قطعهی بالا از مستندات GitHub به ما میگوید که میتوان از ستون `pull_request` برای تشخیص issueها از pull requestها استفاده کرد. بیایید یک نمونهی تصادفی ببینیم تا تفاوت آنها مشخص شود. همانطور که در [بخش ۳](/course/chapter5/3) انجام دادیم، توابع `Dataset.shuffle()` و `Dataset.select()` را زنجیره میکنیم تا یک نمونهی تصادفی بسازیم، سپس ستونهای `html_url` و `pull_request` را با هم zip میکنیم تا URLهای مختلف را مقایسه کنیم: | |
| ```py | |
| sample = issues_dataset.shuffle(seed=666).select(range(3)) | |
| # Print out the URL and pull request entries | |
| for url, pr in zip(sample["html_url"], sample["pull_request"]): | |
| print(f">> URL: {url}") | |
| print(f">> Pull request: {pr}\n") | |
| ``` | |
| ```python out | |
| >> URL: https://github.com/huggingface/datasets/pull/850 | |
| >> Pull request: {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/850', 'html_url': 'https://github.com/huggingface/datasets/pull/850', 'diff_url': 'https://github.com/huggingface/datasets/pull/850.diff', 'patch_url': 'https://github.com/huggingface/datasets/pull/850.patch'} | |
| >> URL: https://github.com/huggingface/datasets/issues/2773 | |
| >> Pull request: None | |
| >> URL: https://github.com/huggingface/datasets/pull/783 | |
| >> Pull request: {'url': 'https://api.github.com/repos/huggingface/datasets/pulls/783', 'html_url': 'https://github.com/huggingface/datasets/pull/783', 'diff_url': 'https://github.com/huggingface/datasets/pull/783.diff', 'patch_url': 'https://github.com/huggingface/datasets/pull/783.patch'} | |
| ``` | |
| در اینجا میبینیم هر pull request با چند URL مرتبط است، در حالی که issueهای معمولی ورودی `None` دارند. میتوانیم از این تفاوت استفاده کنیم و ستون جدیدی به نام `is_pull_request` بسازیم که بررسی کند فیلد `pull_request` مقدار `None` دارد یا نه: | |
| ```py | |
| issues_dataset = issues_dataset.map( | |
| lambda x: {"is_pull_request": False if x["pull_request"] is None else True} | |
| ) | |
| ``` | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** میانگین زمان بسته شدن issueها در 🤗 Datasets را محاسبه کنید. احتمالاً تابع `Dataset.filter()` برای فیلتر کردن pull requestها و issueهای باز مفید خواهد بود و میتوانید از تابع `Dataset.set_format()` برای تبدیل دیتاست به `DataFrame` استفاده کنید تا دستکاری timestampهای `created_at` و `closed_at` آسانتر شود. برای امتیاز بیشتر، میانگین زمان بسته شدن pull requestها را نیز محاسبه کنید. | |
| اگرچه میتوانستیم با حذف یا تغییر نام برخی ستونها دیتاست را بیشتر پاکسازی کنیم، در این مرحله معمولاً بهتر است دیتاست را تا حد امکان «خام» نگه داریم تا بتوان بهسادگی از آن در برنامههای مختلف استفاده کرد. | |
| پیش از push کردن دیتاست به هاب هاگینگفِیس، بیایید با چیزی که در آن کم است برخورد کنیم: commentهای مربوط به هر issue و pull request. در ادامه آنها را اضافه میکنیم — بله، درست حدس زدید — با GitHub REST API! | |
| ## غنیسازی دیتاست[[augmenting-the-dataset]] | |
| همانطور که در تصویر زیر نشان داده شده است، commentهای مربوط به یک issue یا pull request منبع اطلاعاتی غنیای هستند؛ بهخصوص اگر به ساخت موتور جستوجویی برای پاسخ به پرسوجوهای کاربران دربارهی کتابخانه علاقهمند باشیم. | |
| GitHub REST API یک endpoint به نام [`Comments`](https://docs.github.com/en/rest/reference/issues#list-issue-comments) ارائه میدهد که همهی commentهای مرتبط با شمارهی یک issue را برمیگرداند. بیایید endpoint را آزمایش کنیم تا ببینیم چه چیزی برمیگرداند: | |
| ```py | |
| issue_number = 2792 | |
| url = f"https://api.github.com/repos/huggingface/datasets/issues/{issue_number}/comments" | |
| response = requests.get(url, headers=headers) | |
| response.json() | |
| ``` | |
| ```python out | |
| [{'url': 'https://api.github.com/repos/huggingface/datasets/issues/comments/897594128', | |
| 'html_url': 'https://github.com/huggingface/datasets/pull/2792#issuecomment-897594128', | |
| 'issue_url': 'https://api.github.com/repos/huggingface/datasets/issues/2792', | |
| 'id': 897594128, | |
| 'node_id': 'IC_kwDODunzps41gDMQ', | |
| 'user': {'login': 'bhavitvyamalik', | |
| 'id': 19718818, | |
| 'node_id': 'MDQ6VXNlcjE5NzE4ODE4', | |
| 'avatar_url': 'https://avatars.githubusercontent.com/u/19718818?v=4', | |
| 'gravatar_id': '', | |
| 'url': 'https://api.github.com/users/bhavitvyamalik', | |
| 'html_url': 'https://github.com/bhavitvyamalik', | |
| 'followers_url': 'https://api.github.com/users/bhavitvyamalik/followers', | |
| 'following_url': 'https://api.github.com/users/bhavitvyamalik/following{/other_user}', | |
| 'gists_url': 'https://api.github.com/users/bhavitvyamalik/gists{/gist_id}', | |
| 'starred_url': 'https://api.github.com/users/bhavitvyamalik/starred{/owner}{/repo}', | |
| 'subscriptions_url': 'https://api.github.com/users/bhavitvyamalik/subscriptions', | |
| 'organizations_url': 'https://api.github.com/users/bhavitvyamalik/orgs', | |
| 'repos_url': 'https://api.github.com/users/bhavitvyamalik/repos', | |
| 'events_url': 'https://api.github.com/users/bhavitvyamalik/events{/privacy}', | |
| 'received_events_url': 'https://api.github.com/users/bhavitvyamalik/received_events', | |
| 'type': 'User', | |
| 'site_admin': False}, | |
| 'created_at': '2021-08-12T12:21:52Z', | |
| 'updated_at': '2021-08-12T12:31:17Z', | |
| 'author_association': 'CONTRIBUTOR', | |
| 'body': "@albertvillanova my tests are failing here:\r\n```\r\ndataset_name = 'gooaq'\r\n\r\n def test_load_dataset(self, dataset_name):\r\n configs = self.dataset_tester.load_all_configs(dataset_name, is_local=True)[:1]\r\n> self.dataset_tester.check_load_dataset(dataset_name, configs, is_local=True, use_local_dummy_data=True)\r\n\r\ntests/test_dataset_common.py:234: \r\n_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ \r\ntests/test_dataset_common.py:187: in check_load_dataset\r\n self.parent.assertTrue(len(dataset[split]) > 0)\r\nE AssertionError: False is not true\r\n```\r\nWhen I try loading dataset on local machine it works fine. Any suggestions on how can I avoid this error?", | |
| 'performed_via_github_app': None}] | |
| ``` | |
| میبینیم comment در فیلد `body` ذخیره شده است، پس بیایید تابع سادهای بنویسیم که با انتخاب محتوای `body` برای هر عنصر در `response.json()`، همهی commentهای یک issue را برگرداند: | |
| ```py | |
| def get_comments(issue_number): | |
| url = f"https://api.github.com/repos/huggingface/datasets/issues/{issue_number}/comments" | |
| response = requests.get(url, headers=headers) | |
| return [r["body"] for r in response.json()] | |
| # Test our function works as expected | |
| get_comments(2792) | |
| ``` | |
| ```python out | |
| ["@albertvillanova my tests are failing here:\r\n```\r\ndataset_name = 'gooaq'\r\n\r\n def test_load_dataset(self, dataset_name):\r\n configs = self.dataset_tester.load_all_configs(dataset_name, is_local=True)[:1]\r\n> self.dataset_tester.check_load_dataset(dataset_name, configs, is_local=True, use_local_dummy_data=True)\r\n\r\ntests/test_dataset_common.py:234: \r\n_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ \r\ntests/test_dataset_common.py:187: in check_load_dataset\r\n self.parent.assertTrue(len(dataset[split]) > 0)\r\nE AssertionError: False is not true\r\n```\r\nWhen I try loading dataset on local machine it works fine. Any suggestions on how can I avoid this error?"] | |
| ``` | |
| این خروجی خوب به نظر میرسد، پس از `Dataset.map()` استفاده میکنیم تا ستون جدید `comments` را به هر issue دیتاست اضافه کنیم: | |
| ```py | |
| # Depending on your internet connection, this can take a few minutes... | |
| issues_with_comments_dataset = issues_dataset.map( | |
| lambda x: {"comments": get_comments(x["number"])} | |
| ) | |
| ``` | |
| گام نهایی، push کردن دیتاست به هاب است. بیایید ببینیم چگونه این کار را انجام دهیم. | |
| ## بارگذاری دیتاست در هاب هاگینگفِیس[[uploading-the-dataset-to-the-hugging-face-hub]] | |
| حالا که دیتاست غنیشدهی خود را داریم، وقت آن است که آن را به هاب push کنیم تا بتوانیم با جامعه کاربران به اشتراک بگذاریم! بارگذاری دیتاست بسیار ساده است: درست مانند مدلها و توکِنایزرهای 🤗 Transformers، میتوانیم از متد `push_to_hub()` برای push کردن دیتاست استفاده کنیم. برای این کار به توکِن احراز هویتی نیاز داریم که با ورود به هاب هاگینگفِیس و استفاده از تابع `notebook_login()` به دست میآید: | |
| ```py | |
| from huggingface_hub import notebook_login | |
| notebook_login() | |
| ``` | |
| این کار widgetی ایجاد میکند که میتوانید نام کاربری و گذرواژهی خود را در آن وارد کنید و توکِن API در *~/.huggingface/token* ذخیره میشود. اگر کد را در ترمینال اجرا میکنید، میتوانید بهجای آن با CLI وارد شوید: | |
| ```bash | |
| huggingface-cli login | |
| ``` | |
| پس از انجام این کار، میتوانیم با اجرای دستور زیر دیتاست را بارگذاری کنیم: | |
| ```py | |
| issues_with_comments_dataset.push_to_hub("github-issues") | |
| ``` | |
| از اینجا به بعد، هرکس میتواند با دادن شناسهی مخزن به آرگومان `path` تابع `load_dataset()` دیتاست را دانلود کند: | |
| ```py | |
| remote_dataset = load_dataset("lewtun/github-issues", split="train") | |
| remote_dataset | |
| ``` | |
| ```python out | |
| Dataset({ | |
| features: ['url', 'repository_url', 'labels_url', 'comments_url', 'events_url', 'html_url', 'id', 'node_id', 'number', 'title', 'user', 'labels', 'state', 'locked', 'assignee', 'assignees', 'milestone', 'comments', 'created_at', 'updated_at', 'closed_at', 'author_association', 'active_lock_reason', 'pull_request', 'body', 'performed_via_github_app', 'is_pull_request'], | |
| num_rows: 2855 | |
| }) | |
| ``` | |
| عالی است، دیتاست را به هاب push کردیم و اکنون دیگران نیز میتوانند از آن استفاده کنند! فقط یک کار مهم دیگر باقی مانده است: افزودن _کارت دیتاست_ که توضیح دهد پیکره چگونه ساخته شده و اطلاعات مفید دیگری برای جامعه ارائه کند. | |
| > [!TIP] | |
| > 💡 همچنین میتوانید دیتاست را مستقیماً از ترمینال و با استفاده از `huggingface-cli` و کمی جادوی Git در هاب هاگینگفِیس بارگذاری کنید. برای جزئیات، [راهنمای 🤗 Datasets](https://huggingface.co/docs/datasets/share#share-a-dataset-using-the-cli) را ببینید. | |
| ## ساختن کارت دیتاست[[creating-a-dataset-card]] | |
| دیتاستهایی که خوب مستند شدهاند احتمال بیشتری دارد برای دیگران (از جمله خود آیندهی شما!) مفید باشند، چون زمینهای فراهم میکنند تا کاربران تصمیم بگیرند دیتاست برای مسئلهی آنها مناسب است یا نه و سوگیریها یا خطرهای احتمالی استفاده از دیتاست را ارزیابی کنند. | |
| در هاب هاگینگفِیس، این اطلاعات در فایل *README.md* هر مخزن دیتاست ذخیره میشود. پیش از ساختن این فایل، دو گام اصلی وجود دارد: | |
| 1. از برنامهی [`datasets-tagging`](https://huggingface.co/datasets/tagging/) برای ساخت برچسبهای متادیتا در قالب YAML استفاده کنید. این برچسبها برای قابلیتهای مختلف جستوجو در هاب هاگینگفِیس به کار میروند و باعث میشوند اعضای جامعه بتوانند بهراحتی دیتاست شما را پیدا کنند. چون در اینجا دیتاستی سفارشی ساختهایم، باید مخزن `datasets-tagging` را clone کنید و برنامه را بهصورت محلی اجرا کنید. رابط برنامه به شکل زیر است: | |
| 2. [راهنمای 🤗 Datasets](https://github.com/huggingface/datasets/blob/master/templates/README_guide.md) دربارهی ساخت کارتهای دیتاست آموزنده را بخوانید و از آن بهعنوان الگو استفاده کنید. | |
| میتوانید فایل *README.md* را مستقیماً در هاب بسازید و یک کارت دیتاست نمونه را در مخزن دیتاست `lewtun/github-issues` پیدا کنید. تصویر زیر نمونهای از کارت دیتاست تکمیلشده را نشان میدهد. | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** از برنامهی `dataset-tagging` و [راهنمای 🤗 Datasets](https://github.com/huggingface/datasets/blob/master/templates/README_guide.md) استفاده کنید تا فایل *README.md* دیتاست issueهای GitHub خود را تکمیل کنید. | |
| همین بود! در این بخش دیدیم که ساختن یک دیتاست خوب میتواند کار نسبتاً پیچیدهای باشد، اما خوشبختانه بارگذاری و بهاشتراکگذاری آن با جامعه پیچیده نیست. در بخش بعدی از دیتاست جدیدمان برای ساختن یک موتور جستوجوی معنایی با 🤗 Datasets استفاده میکنیم که میتواند پرسشها را با مرتبطترین issueها و commentها تطبیق دهد. | |
| > [!TIP] | |
| > ✏️ **امتحان کنید!** مراحلی را که در این بخش برای ساخت دیتاستی از issueهای GitHub طی کردیم، برای کتابخانهی متنباز موردعلاقهی خود تکرار کنید (البته پروژهای غیر از 🤗 Datasets انتخاب کنید!). برای امتیاز بیشتر، یک دستهبند چندبرچسبی را کوک کنید تا برچسبهای موجود در فیلد `labels` را پیشبینی کند. | |
Xet Storage Details
- Size:
- 29.3 kB
- Xet hash:
- a8324895d8c11b9247f5fb58dfa2e0cbfcd3343fcf83efef8d1adde95d3560c0
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.