diffusers/main/ko/api/models/latte_transformer3d.md

LatteTransformer3DModel

Latte의 3D 데이터를 위한 Diffusion Transformer 모델입니다.

LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel[[diffusers.LatteTransformer3DModel]]

diffusers.LatteTransformer3DModel(num_attention_heads: int = 16, attention_head_dim: int = 88, in_channels: int | None = None, out_channels: int | None = None, num_layers: int = 1, dropout: float = 0.0, cross_attention_dim: int | None = None, attention_bias: bool = False, sample_size: int = 64, patch_size: int | None = None, activation_fn: str = 'geglu', num_embeds_ada_norm: int | None = None, norm_type: str = 'layer_norm', norm_elementwise_affine: bool = True, norm_eps: float = 1e-05, caption_channels: int = None, video_length: int = 16)

소스

forward[[diffusers.LatteTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, encoder_hidden_states: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, enable_temporal_attentions: bool = True, return_dict: bool = True)

소스

매개변수:

hidden_states (torch.Tensor, shape (batch size, channel, num_frame, height, width)) : 입력 hidden_states.

timestep ( torch.LongTensor, 선택 사항) : 노이즈 제거 단계를 나타내는 데 사용됩니다. AdaLayerNorm에서 임베딩으로 적용될 선택적 타임스텝입니다.

encoder_hidden_states ( torch.FloatTensor, shape (batch size, sequence len, embed dims), 선택 사항) : cross attention layer에 사용되는 조건부 임베딩입니다. 제공되지 않으면 cross-attention은 기본적으로 self-attention으로 동작합니다.

encoder_attention_mask ( torch.Tensor, 선택 사항) : encoder_hidden_states에 적용되는 크로스 어텐션 마스크. 두 가지 형식을 지원합니다: * 마스크 (batcheight, sequence_length) True = 유지, False = 제거. * 바이어스 (batcheight, 1, sequence_length) 0 = 유지, -10000 = 제거. ndim == 2인 경우: 마스크로 해석한 후, 위의 형식과 일치하는 바이어스로 변환됩니다. 이 바이어스는 크로스 어텐션 점수에 추가됩니다.

enable_temporal_attentions : (bool, 선택 사항, 기본값 True): 시간적 주의를 활성화할지 여부.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.unet_2d_condition.UNet2DConditionOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

LatteTransformer3DModel의 forward 메서드입니다.