diffusers/main/ko/api/models/stable_audio_transformer.md

StableAudioDiTModel

Stable Audio Open의 오디오 웨이브폼용 Transformer 모델입니다.

StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel(sample_size: int = 1024, in_channels: int = 64, num_layers: int = 24, attention_head_dim: int = 64, num_attention_heads: int = 24, num_key_value_attention_heads: int = 12, out_channels: int = 64, cross_attention_dim: int = 768, time_proj_dim: int = 256, global_states_input_dim: int = 1536, cross_attention_input_dim: int = 768)

소스

매개변수:

sample_size ( int, 선택 사항, 기본값 1024) : 입력 샘플의 크기입니다.

in_channels (int, 선택 사항, 기본값 64) : 입력의 채널 수.

num_layers (int, 선택 사항, 기본값 24) : 사용할 Transformer 블록의 레이어 수입니다.

attention_head_dim (int, 선택 사항, 기본값 64) : 각 헤드당 채널 수입니다.

num_attention_heads (int, 선택 사항, 기본값 24) : 쿼리 상태에 사용할 헤드 수입니다.

num_key_value_attention_heads (int, 선택 사항, 기본값 12) : key와 value 상태에 사용할 head의 수입니다.

out_channels (int, 기본값 64) : 출력 채널 수.

cross_attention_dim ( int, 선택 사항, 기본값 768) : 크로스 어텐션 투영의 차원.

time_proj_dim ( int, 선택 사항, 기본값 256) : timestep 내부 투영의 차원.

global_states_input_dim ( int, 선택 사항, 기본값 1536) : 전역 은닉 상태 투영의 입력 차원입니다.

cross_attention_input_dim ( int, 선택 사항, 기본값 768) : 크로스 어텐션 투영의 입력 차원

Stable Audio에서 소개한 Diffusion Transformer 모델입니다.

Reference: https://github.com/Stability-AI/stable-audio-tools

forward[[diffusers.StableAudioDiTModel.forward]]

forward(hidden_states: FloatTensor, timestep: LongTensor = None, encoder_hidden_states: FloatTensor = None, global_hidden_states: FloatTensor = None, rotary_embedding: FloatTensor = None, return_dict: bool = True, attention_mask: typing.Optional[torch.LongTensor] = None, encoder_attention_mask: typing.Optional[torch.LongTensor] = None)

소스

매개변수:

hidden_states (torch.FloatTensor, shape (batch size, in_channels, sequence_len)) : 입력 hidden_states.

timestep ( torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

encoder_hidden_states (torch.FloatTensor, shape (batch size, encoder_sequence_len, cross_attention_input_dim)) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

global_hidden_states (torch.FloatTensor, shape (batch size, global_sequence_len, global_states_input_dim)) : hidden states 앞에 추가될 global embeddings입니다.

rotary_embedding (torch.Tensor) : attention 계산 시 query 및 key 텐서에 적용할 rotary embeddings입니다.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

attention_mask (torch.Tensor, shape (batch_size, sequence_len), 선택 사항) : 패딩 토큰 인덱스에 대한 어텐션을 수행하지 않도록 방지하는 마스크로, 두 텍스트 인코더의 어텐션 마스크를 연결하여 구성됩니다. [0, 1]에서 선택된 마스크 값: - 마스크되지 않은 토큰은 1, - 마스크된 토큰은 0.

encoder_attention_mask (torch.Tensor, shape (batch_size, sequence_len), 선택 사항) : 두 텍스트 인코더의 어텐션 마스크를 연결하여 형성된 크로스 어텐션 인덱스에서 패딩 토큰에 대한 어텐션 수행을 방지하기 위한 마스크. [0, 1]에서 선택된 마스크 값: - 마스크되지 않은 토큰은 1, - 마스크된 토큰은 0.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

StableAudioDiTModel의 forward 메서드입니다.

set_default_attn_processor[[diffusers.StableAudioDiTModel.set_default_attn_processor]]

set_default_attn_processor()

소스

커스텀 어텐션 프로세서를 비활성화하고 기본 어텐션 구현을 설정합니다.