Buckets:

hf-doc-build/doc / diffusers /main /tr /training /create_dataset.md
mishig's picture
|
download
raw
4.63 kB
# Eğitim için bir veri seti oluşturun
[Hub](https://huggingface.co/datasets?task_categories=task_categories:text-to-image&sort=downloads) üzerinde bir model eğitmek için kullanabileceğiniz birçok veri seti bulunur, ancak ilgilendiğiniz bir veri setini bulamıyorsanız veya kendi veri setinizi kullanmak istiyorsanız, 🤗 [Datasets](https://huggingface.co/docs/datasets) kütüphanesiyle bir veri seti oluşturabilirsiniz. Veri seti yapısı, modelinizi eğitmek istediğiniz göreve bağlıdır. En temel veri seti yapısı, koşulsuz görüntü üretimi gibi görevler için görüntülerin bulunduğu bir dizindir. Bir diğer veri seti yapısı ise metinden görüntüye üretim gibi görevler için görüntülerin bulunduğu bir dizin ve bu görüntülere karşılık gelen metin açıklamalarını içeren bir metin dosyasıdır.
Bu kılavuz, ince ayar yapmak için veri seti oluşturmanın iki yolunu gösterecektir:
- `--train_data_dir` argümanına bir görsel klasörü sağlayın
- bir veri setini Hub'a yükleyin ve veri seti deposu kimliğini `--dataset_name` argümanına iletin
> [!TIP]
> 💡 Eğitim için bir görüntü veri seti oluşturma hakkında daha fazla bilgi için [Bir görüntü veri seti oluşturun](https://huggingface.co/docs/datasets/image_dataset) kılavuzuna göz atın.
## Bir veri setini klasör olarak sağlayın
Koşulsuz üretim için, kendi veri setinizi bir görsel klasörü olarak sağlayabilirsiniz. Eğitim betiği, 🤗 Datasets'teki [`ImageFolder`](https://huggingface.co/docs/datasets/en/image_dataset#imagefolder) oluşturucusunu kullanarak klasörden bir veri setini otomatik olarak oluşturur. Dizin yapınız şu şekilde görünmelidir:
```bash
data_dir/xxx.png
data_dir/xxy.png
data_dir/[...]/xxz.png
```
Veri seti dizinine giden yolu `--train_data_dir` argümanına iletin, ardından eğitimi başlatabilirsiniz:
```bash
accelerate launch train_unconditional.py \
--train_data_dir <path-to-train-directory> \
<other-arguments>
```
## Verilerinizi Hub'a yükleyin
> [!TIP]
> 💡 Hub'a bir veri seti oluşturma ve yükleme hakkında daha fazla ayrıntı ve bağlam için [Image search with 🤗 Datasets](https://huggingface.co/blog/image-search-datasets) gönderimine göz atın.
[`ImageFolder`](https://huggingface.co/docs/datasets/image_load#imagefolder) özelliğini kullanarak bir veri seti oluşturarak başlayın; bu özellik, PIL kodlanmış görüntüler içeren bir `image` sütunu oluşturur.
Veri setinin konumunu belirtmek için `data_dir` veya `data_files` parametrelerini kullanabilirsiniz. `data_files` parametresi, `train` veya `test` gibi veri seti bölümlerine belirli dosyaları eşlemeyi destekler:
```python
from datasets import load_dataset
# example 1: local folder
dataset = load_dataset("imagefolder", data_dir="path_to_your_folder")
# example 2: local files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset("imagefolder", data_files="path_to_zip_file")
# example 3: remote files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset(
"imagefolder",
data_files="https://download.microsoft.com/download/3/E/1/3E1C3F21-ECDB-4869-8368-6DEBA77B919F/kagglecatsanddogs_3367a.zip",
)
# example 4: providing several splits
dataset = load_dataset(
"imagefolder", data_files={"train": ["path/to/file1", "path/to/file2"], "test": ["path/to/file3", "path/to/file4"]}
)
```
Ardından veri setini Hub'a yüklemek için [push_to_hub](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.Dataset.push_to_hub) yöntemini kullanın:
```python
# assuming you have ran the hf auth login command in a terminal
dataset.push_to_hub("name_of_your_dataset")
# if you want to push to a private repo, simply pass private=True:
dataset.push_to_hub("name_of_your_dataset", private=True)
```
Şimdi veri seti, veri seti adını `--dataset_name` argümanına geçirerek eğitim için kullanılabilir:
```bash
accelerate launch --mixed_precision="fp16" train_text_to_image.py \
--pretrained_model_name_or_path="stable-diffusion-v1-5/stable-diffusion-v1-5" \
--dataset_name="name_of_your_dataset" \
<other-arguments>
```
## Sonraki adımlar
Bir veri seti oluşturduğunuzda, eğitim betiğindeki `train_data_dir` (veri setiniz yerel ise) veya `dataset_name` (veri setiniz Hub üzerinde ise) argümanlarına ekleyebilirsiniz.
Sonraki adımlarınız için, [koşulsuz üretim](unconditional_training) veya [metinden görüntüye üretim](text2image) için bir model eğitmek üzere veri setinizi kullanmayı denemekten çekinmeyin!

Xet Storage Details

Size:
4.63 kB
·
Xet hash:
b8dd4bc6a6f7261a863119be38bdaed5c08a4352192c6d0ecfe1c09596a46e97

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.