Buckets:

hf-doc-build/doc / diffusers /main /ko /api /models /unet-motion.md
mishig's picture
|
download
raw
11.9 kB
# UNetMotionModel
[UNet](https://huggingface.co/papers/1505.04597) 모델은 Ronneberger et al이 생물의학 이미지 분할을 위해 처음 도입했지만, 입력과 동일한 크기의 이미지를 출력하기 때문에 🤗 Diffusers에서도 널리 사용됩니다. 실제 확산 과정을 담당하는 핵심 구성 요소 중 하나입니다. 🤗 Diffusers에는 차원 수와 조건부 모델 여부 등에 따라 UNet 모델의 여러 변형이 있습니다. 여기서는 2D UNet 모델입니다.
해당 논문의 초록은 다음과 같습니다:
*딥 네트워크의 성공적인 학습에는 수천 개의 라벨이 붙은 학습 샘플이 필요하다는 데에 큰 합의가 있습니다. 본 논문에서는 데이터 증강을 강하게 활용하여 사용 가능한 라벨 샘플을 더 효율적으로 사용하는 네트워크와 학습 전략을 제시합니다. 아키텍처는 컨텍스트를 포착하기 위한 수축 경로와 정확한 위치 파악을 가능하게 하는 대칭적인 확장 경로로 구성됩니다. 이러한 네트워크가 매우 적은 이미지로 끝에서 끝까지(end-to-end) 학습될 수 있으며, 전자 현미경 스택의 신경 구조 분할을 위한 ISBI 챌린지에서 이전의 최선 방법(슬라이딩 윈도우 컨볼루션 네트워크)보다 우수한 성능을 보임을 보여줍니다. 동일한 네트워크를 투과광 현미경 이미지(위상 대비 및 DIC)로 학습하여, 해당 카테고리에서 ISBI 세포 추적 챌린지 2015를 큰 격차로 우승했습니다. 또한, 이 네트워크는 빠릅니다. 최신 GPU에서 512x512 이미지의 분할은 1초 미만으로 수행됩니다. 전체 구현(Caffe 기반)과 학습된 네트워크는 http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net에서 사용할 수 있습니다.*
## UNetMotionModel[[diffusers.UNetMotionModel]]
#### diffusers.UNetMotionModel[[diffusers.UNetMotionModel]]
```python
diffusers.UNetMotionModel(sample_size: int | None = None, in_channels: int = 4, out_channels: int = 4, down_block_types: tuple = ('CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'DownBlockMotion'), up_block_types: tuple = ('UpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion'), block_out_channels: tuple = (320, 640, 1280, 1280), layers_per_block: int | tuple[int] = 2, downsample_padding: int = 1, mid_block_scale_factor: float = 1, act_fn: str = 'silu', norm_num_groups: int = 32, norm_eps: float = 1e-05, cross_attention_dim: int = 1280, transformer_layers_per_block: int | tuple[int] | tuple[tuple] = 1, reverse_transformer_layers_per_block: int | tuple[int] | tuple[tuple] | None = None, temporal_transformer_layers_per_block: int | tuple[int] | tuple[tuple] = 1, reverse_temporal_transformer_layers_per_block: int | tuple[int] | tuple[tuple] | None = None, transformer_layers_per_mid_block: int | tuple[int] | None = None, temporal_transformer_layers_per_mid_block: int | tuple[int] | None = 1, use_linear_projection: bool = False, num_attention_heads: int | tuple[int, ...] = 8, motion_max_seq_length: int = 32, motion_num_attention_heads: int | tuple[int, ...] = 8, reverse_motion_num_attention_heads: int | tuple[int, ...] | tuple[tuple[int, ...], ...] | None = None, use_motion_mid_block: bool = True, mid_block_layers: int = 1, encoder_hid_dim: int | None = None, encoder_hid_dim_type: str | None = None, addition_embed_type: str | None = None, addition_time_embed_dim: int | None = None, projection_class_embeddings_input_dim: int | None = None, time_cond_proj_dim: int | None = None)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1201)
노이즈 샘플, 조건 상태, 타임스텝을 입력으로 받아 샘플 모양의 출력을 반환하는 수정된 조건부 2D UNet 모델입니다.
이 모델은 [ModelMixin](/docs/diffusers/main/ko/api/models/overview#diffusers.ModelMixin)에서 상속됩니다. 모든 모델에 대해 구현된 일반적 메서드(다운로드 또는 저장 등)에 대해서는 상위 클래스 문서를 확인하세요.
#### disable_freeu[[diffusers.UNetMotionModel.disable_freeu]]
```python
disable_freeu()
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1842)
FreeU 메커니즘을 비활성화합니다.
#### enable_forward_chunking[[diffusers.UNetMotionModel.enable_forward_chunking]]
```python
enable_forward_chunking(chunk_size: int | None = None, dim: int = 0)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1760)
**매개변수:**
chunk_size (`int`, *선택 사항*) : 피드포워드 레이어의 청크 크기입니다. 지정하지 않으면 `dim` 차원의 각 텐서에 대해 피드포워드 레이어를 개별적으로 실행합니다.
dim (`int`, *선택 사항*, 기본값 `0`) : 피드포워드 계산을 청킹할 차원입니다. dim=0 (배치) 또는 dim=1 (시퀀스 길이) 중 하나를 선택합니다.
[feed forward chunking](https://huggingface.co/blog/reformer#2-chunked-feed-forward-layers)을 사용할 attention processor를 설정합니다.
#### enable_freeu[[diffusers.UNetMotionModel.enable_freeu]]
```python
enable_freeu(s1: float, s2: float, b1: float, b2: float)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1817)
**매개변수:**
s1 (`float`) : 스킵 특징의 기여도를 감쇠시키기 위한 1단계의 스케일링 계수입니다. 이는 강화된 노이즈 제거 과정에서 "과도한 매끄러움 효과(oversmoothing effect)"를 완화하기 위해 수행됩니다.
s2 (`float`) : 스킵 특징의 기여도를 감쇠시키기 위한 2단계의 스케일링 계수입니다. 이는 강화된 노이즈 제거 과정에서 "과도한 매끄러움 효과(oversmoothing effect)"를 완화하기 위해 수행됩니다.
b1 (`float`) : 1단계에서 백본 특징의 기여도를 증폭하기 위한 스케일링 계수.
b2 (`float`) : 2단계에서 백본 특징의 기여도를 증폭하기 위한 스케일링 계수.
https://huggingface.co/papers/2309.11497의 FreeU 메커니즘을 활성화합니다.
스케일링 인자 뒤에 붙는 접미사는 해당 인자가 적용되는 스테이지 블록을 나타냅니다.
Stable Diffusion v1, v2, Stable Diffusion XL과 같은 다양한 파이프라인에서 잘 작동하는 것으로 알려진 값 조합에 대해서는 [공식 저장소](https://github.com/ChenyangSi/FreeU)를 참고하세요.
#### forward[[diffusers.UNetMotionModel.forward]]
```python
forward(sample: Tensor, timestep: typing.Union[torch.Tensor, float, int], encoder_hidden_states: Tensor, timestep_cond: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, cross_attention_kwargs: dict[str, typing.Any] | None = None, added_cond_kwargs: dict[str, torch.Tensor] | None = None, down_block_additional_residuals: tuple[torch.Tensor] | None = None, mid_block_additional_residual: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1882)
**매개변수:**
sample (`torch.Tensor`) : 다음 형태 `(batch, num_frames, channel, height, width`를 가진 노이즈 입력 텐서
timestep (`torch.Tensor` 또는 `float` 또는 `int`) : 입력을 디노이즈할 타임스텝 수.
encoder_hidden_states (`torch.Tensor`) : `(batch, sequence_length, feature_dim)` 모양의 인코더 히든 상태입니다.
timestep_cond : (`torch.Tensor`, *선택 사항*, 기본값 `None`): timestep을 위한 조건부 임베딩입니다. 값이 제공되면, `self.time_embedding` 레이어를 통과한 샘플과 합산되어 timestep 임베딩을 얻습니다.
attention_mask (`torch.Tensor`, *선택 사항*, 기본값 `None`) : `(batch, key_tokens)` 모양의 attention mask가 `encoder_hidden_states`에 적용됩니다. `1`인 경우 mask가 유지되고, `0`인 경우 폐기됩니다. Mask는 bias로 변환되어 "폐기" 토큰에 해당하는 attention score에 큰 음의 값을 더합니다.
cross_attention_kwargs (`dict`, *선택 사항*) : 지정된 경우 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py)의 `self.processor` 아래에서 정의된 `AttentionProcessor`로 전달되는 kwargs 사전입니다.
added_cond_kwargs (`dict`, *선택 사항*) : 모델을 조건부화하는 데 사용되는 추가 임베딩(예: 텍스트 및 시간 임베딩)의 사전.
down_block_additional_residuals : (`tuple` of `torch.Tensor`, *선택 사항*): 지정된 경우, down unet 블록의 잔차(residuals)에 추가되는 텐서들의 튜플입니다.
mid_block_additional_residual : (`torch.Tensor`, *선택 사항*): 지정된 경우, 중간 unet 블록의 잔차(residual)에 추가되는 텐서입니다.
return_dict (`bool`, *선택 사항*, 기본값 `True`) : 일반 튜플 대신 `UNetMotionOutput`을 반환할지 여부.
**반환값:** `UNetMotionOutput` 또는 `tuple`
`return_dict`가 True이면 `UNetMotionOutput`이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 `tuple`이 반환됩니다.
[UNetMotionModel](/docs/diffusers/main/ko/api/models/unet-motion#diffusers.UNetMotionModel)의 forward 메서드입니다.
#### freeze_unet2d_params[[diffusers.UNetMotionModel.freeze_unet2d_params]]
```python
freeze_unet2d_params()
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1691)
UNet2DConditionModel의 가중치만 동결하고, motion modules는 동결하지 않은 상태로 유지하여 fine tuning을 수행합니다.
#### fuse_qkv_projections[[diffusers.UNetMotionModel.fuse_qkv_projections]]
```python
fuse_qkv_projections()
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1851)
융합된 QKV 투영을 활성화합니다. 셀프 어텐션 모듈의 경우, 모든 투영 행렬(즉, 쿼리, 키, 값)이 융합됩니다. 크로스 어텐션 모듈의 경우, 키와 값 투영 행렬이 융합됩니다.
> [!WARNING] > 이 API는 🧪 실험적입니다.
#### set_default_attn_processor[[diffusers.UNetMotionModel.set_default_attn_processor]]
```python
set_default_attn_processor()
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1801)
커스텀 어텐션 프로세서를 비활성화하고 기본 어텐션 구현을 설정합니다.
#### unfuse_qkv_projections[[diffusers.UNetMotionModel.unfuse_qkv_projections]]
```python
unfuse_qkv_projections()
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_motion_model.py#L1873)
활성화된 경우, 융합된 QKV 투영을 비활성화합니다.
> [!WARNING] > 이 API는 🧪 실험적입니다.
## UNet3DConditionOutput[[diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput]]
#### diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput[[diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput]]
```python
diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput(sample: Tensor)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_3d_condition.py#L50)
**매개변수:**
sample (`torch.Tensor`, shape `(batch_size, num_channels, num_frames, height, width)`) : `encoder_hidden_states` 입력에 조건부인 히든 상태 출력. 모델의 마지막 레이어 출력입니다.
[UNet3DConditionModel](/docs/diffusers/main/ko/api/models/unet3d-cond#diffusers.UNet3DConditionModel)의 출력입니다.

Xet Storage Details

Size:
11.9 kB
·
Xet hash:
ade1ca6abd79ca66c59a4fc2868b03e94e944825f01c5bf3f4b9b9eaf6244f4f

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.