Hugging Face's logo

Diffusers documentation

HeliosTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HeliosTransformer3DModel

Helios에서 3D 비디오 유사 데이터에 대한 T2V, I2V 및 V2V를 지원하는 14B 실시간 오토레그레시브 Diffusion Transformer 모델이 베이징대학교 & ByteDance & 기타 연구진에 의해 Helios: Real Real-Time Long Video Generation Model에서 소개되었습니다.

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

from diffusers import HeliosTransformer3DModel

# Best Quality
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Base", subfolder="transformer", dtype=torch.bfloat16)
# Intermediate Weight
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Mid", subfolder="transformer", dtype=torch.bfloat16)
# Best Efficiency
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Distilled", subfolder="transformer", dtype=torch.bfloat16)

HeliosTransformer3DModel

class diffusers.HeliosTransformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 40attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 13824num_layers: int = 40cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06added_kv_proj_dim: int | None = Nonerope_dim: tuple = (44, 42, 42)rope_theta: float = 10000.0guidance_cross_attn: bool = Truezero_history_timestep: bool = Truehas_multi_term_memory_patch: bool = Trueis_amplify_history: bool = Falsehistory_scale_mode: str = 'per_head' )

매개변수

  • patch_size (tuple[int], 기본값 (1, 2, 2)) — 비디오 임베딩을 위한 3D 패치 차원 (t_patch, h_patch, w_patch).
  • num_attention_heads (int, 기본값 40) — 텍스트 임베딩의 고정 길이입니다.
  • attention_head_dim (int, 기본값 128) — 각 헤드당 채널 수입니다.
  • in_channels (int, 기본값 16) — 입력의 채널 수입니다.
  • out_channels (int, 기본값 16) — 출력의 채널 수입니다.
  • text_dim (int, 기본값 512) — 텍스트 임베딩의 입력 차원입니다.
  • freq_dim (int, 기본값 256) — 사인 파 시간 임베딩에 사용할 차원입니다.
  • ffn_dim (int, 기본값 13824) — 피드포워드 네트워크의 중간 차원입니다.
  • num_layers (int, 기본값 40) — 사용할 transformer 블록의 레이어 수입니다.
  • window_size (tuple[int], 기본값 (-1, -1)) — 로컬 어텐션에 사용할 윈도우 크기입니다. (-1은 글로벌 어텐션을 나타냅니다.)
  • cross_attn_norm (bool, 기본값 True) — 크로스 어텐션 정규화를 활성화합니다.
  • qk_norm (bool, 기본값 True) — query/key 정규화를 활성화합니다.
  • eps (float, 기본값 1e-6) — 정규화 레이어에 사용되는 Epsilon 값입니다.
  • add_img_emb (bool, 기본값 False) — img_emb를 사용할지 여부입니다.
  • added_kv_proj_dim (int, 선택 사항, 기본값 None) — 추가된 key 및 value projection에 사용할 채널 수입니다. None인 경우 projection이 사용되지 않습니다.

Helios 모델에서 사용되는 비디오 유사 데이터용 Transformer 모델입니다.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorindices_hidden_states = Noneindices_latents_history_short = Noneindices_latents_history_mid = Noneindices_latents_history_long = Nonelatents_history_short = Nonelatents_history_mid = Nonelatents_history_long = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

매개변수

  • hidden_states (torch.Tensor, shape (batch_size, num_channels, num_frames, height, width)) — 입력 hidden_states.
  • timestep (torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다.
  • encoder_hidden_states (torch.Tensor, shape (batch_size, sequence_len, embed_dims)) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • indices_hidden_states (torch.Tensor, 선택 사항) — hidden_states의 회전 위치 임베딩을 계산하는 데 사용되는 프레임 인덱스입니다.
  • indices_latents_history_short (torch.Tensor, 선택 사항) — 짧은 히스토리 latents의 프레임 인덱스입니다.
  • indices_latents_history_mid (torch.Tensor, 선택 사항) — 중간 히스토리 라텐트의 프레임 인덱스입니다.
  • indices_latents_history_long (torch.Tensor, 선택 사항) — 긴 히스토리 latents의 프레임 인덱스입니다.
  • latents_history_short (torch.Tensor, 선택 사항) — 짧은 히스토리 latents 조건부.
  • latents_history_mid (torch.Tensor, 선택 사항) — 중간 히스토리 latents 조건부.
  • latents_history_long (torch.Tensor, 선택 사항) — 긴 히스토리 latents 조건부.
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

HeliosTransformer3DModel의 forward 메서드입니다.

Transformer2DModelOutput

클래스 diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

매개변수

  • sample (torch.Tensor, shape (batch_size, num_channels, height, width) 또는 Transformer2DModel이 discrete인 경우 (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states 입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.

Transformer2DModel의 출력입니다.

Update on GitHub

←GlmImageTransformer2DModel HiDreamImageTransformer2DModel→