Diffusers documentation
JoyImageEditTransformer3DModel
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
JoyImageEditTransformer3DModel
다음 코드 스니펫으로 모델을 로드할 수 있습니다.
from diffusers import JoyImageEditTransformer3DModel
transformer = JoyImageEditTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Diffusers", subfolder="transformer", dtype=torch.bfloat16)JoyImageEditTransformer3DModel
class diffusers.JoyImageEditTransformer3DModel
< source >( patch_size: list = [1, 2, 2]in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 3072num_attention_heads: int = 24text_dim: int = 4096mlp_width_ratio: float = 4.0num_layers: int = 20rope_dim_list: list = [16, 56, 56]rope_type: str = 'rope'theta: int = 256 )
이미지 생성/편집을 위한 JoyImage Transformer 모델.
WAN 스타일 조건 임베딩과 사용자 정의 회전 위치 임베딩을 갖춘 Dual-stream DiT 아키텍처.
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensor = Nonereturn_dict: bool = True )
매개변수
- hidden_states (
torch.Tensor, shape(batch_size, num_channels, num_frames, height, width)또는(batch_size, num_items, num_channels, num_frames, height, width)) — 입력hidden_states. - timestep (
torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다. - encoder_hidden_states (
torch.Tensor, 선택 사항) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩). - return_dict (
bool, 선택 사항, 기본값True) — 단순 tuple 대신~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.
JoyImageEditTransformer3DModel의 forward 메서드입니다.
Transformer2DModelOutput
클래스 diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
매개변수
- sample (
torch.Tensor, shape(batch_size, num_channels, height, width)또는 Transformer2DModel이 discrete인 경우(batch size, num_vector_embeds - 1, num_latent_pixels)) —encoder_hidden_states입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.
Transformer2DModel의 출력입니다.