Transformers documentation
FalconH1
このモデルは2025年5月21日にHugging Face Transformersに貢献されました。
FalconH1
概要
FalconH1モデルは、TII Pretrainingチームによって開発されました。アーキテクチャ、事前学習のダイナミクス、実験結果、および結論を網羅した包括的な研究論文は近日公開予定です。このシリーズの詳細については、このウェブサイトをご覧ください。
貢献者
このモデルは、DhiyaEddine、ybelkada、JingweiZuo、IlyasChahed、MaksimVelikanov によって提供されました。 元のコードはこちらで確認できます。
注記
- バッチ生成には左パディングを使用します。Padding sideを参照してください。
FalconH1Config
| モデル | 深さ | 次元 | アテンションヘッド | KV | Mamba Heads | d_head | d_state | コンテキスト長 |
|---|---|---|---|---|---|---|---|---|
| H1 0.5B | 36 | 1024 | 8 | 2 | 24 | 64 / 64 | 128 | 4K、16K-SFT |
| H1 1.5B | 24 | 2048 | 8 | 2 | 48 | 128 / 64 | 256 | 128K |
| H1 1.5B-d | 66 | 1280 | 6 | 2 | 24 | 128 / 64 | 256 | 128K |
| H1 3B | 32 | 2560 | 10 | 2 | 32 | 128 / 128 | 256 | 128K |
| H1 7B | 44 | 3072 | 12 | 2 | 24 | 128 / 128 | 256 | 256K |
| H1 34B | 72 | 5120 | 20 | 4 | 32 | 128 / 128 | 256 | 256K |
クラス transformers.FalconH1Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 128000tie_word_embeddings: bool = Falsehidden_size: int = 4096intermediate_size: int = 14336num_hidden_layers: int = 32num_attention_heads: int = 32num_key_value_heads: int | None = 8hidden_act: str = 'silu'initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool | None = Truenum_logits_to_keep: int | None = 1pad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2max_position_embeddings: int = 8192attention_dropout: float | int | None = 0.0mamba_d_ssm: int | None = 1024mamba_n_heads: int | None = 128mamba_d_head: str | int | None = 'auto'mamba_n_groups: int | None = 1mamba_d_state: int | None = 256mamba_d_conv: int | None = 4mamba_expand: int | None = 2mamba_chunk_size: int | None = 256mamba_conv_bias: bool | None = Truemamba_proj_bias: bool | None = Falsemamba_norm_before_gate: bool | None = Truemamba_rms_norm: bool | None = Falsetime_step_limit: list[float, float] | tuple[float, float] | None = (0.0, inf)projectors_bias: bool | None = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonelm_head_multiplier: float | None = 1.0embedding_multiplier: float | None = 1.0mlp_multipliers: list[float] | None = Nonekey_multiplier: float | None = 1.0attention_out_multiplier: float | None = 1.0attention_in_multiplier: float | None = 1.0ssm_multipliers: list[float] | None = Nonessm_in_multiplier: float | None = 1.0ssm_out_multiplier: float | None = 1.0attention_bias: bool = Falsemlp_bias: bool = False )
パラメータ
- vocab_size (
int、任意、デフォルトは128000) — モデルの語彙サイズ。input_idsで表現できるトークンの種類数を定義します。 - tie_word_embeddings (
bool、任意、デフォルトはFalse) — モデルのtied_weights_keysマッピングに従って重み埋め込みを共有するかどうかを指定します。 - hidden_size (
int、任意、デフォルトは4096) — 隠れ表現の次元数。 - intermediate_size (
int、任意、デフォルトは14336) — MLP 表現の次元数。 - num_hidden_layers (
int、任意、デフォルトは32) — Transformer デコーダーの隠れ層の数。 - num_attention_heads (
int、任意、デフォルトは32) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 - num_key_value_heads (
int、任意、デフォルトは8) — Grouped Query Attention の実装に使用する key_value ヘッドの数を指定します。num_key_value_heads=num_attention_headsの場合、モデルは Multi Head Attention (MHA) を使用し、num_key_value_heads=1の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。 マルチヘッドのチェックポイントを GQA のチェックポイントに変換する際は、各グループの key ヘッドと value ヘッドを、そのグループ内の元のすべてのヘッドの平均プーリングによって構築する必要があります。詳細については、この論文を参照してください。指定しない場合、デフォルトでnum_attention_headsが使用されます。 - hidden_act (
str、任意、デフォルトはsilu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、"relu"、"silu"など。 - initializer_range (
float、任意、デフォルトは0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。 - rms_norm_eps (
float、任意、デフォルト値は1e-05) — RMS正規化レイヤーで使用するepsilonです。 - use_cache (
bool、任意、デフォルトはTrue) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=Trueの場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。 - num_logits_to_keep (
intまたはNone、任意、デフォルトは 1) — 生成時に計算するプロンプトの logits の数です。Noneの場合、すべての logits が計算されます。整数を指定した場合、最後のnum_logits_to_keep個の logits のみが計算されます。デフォルトが 1 であるのは、生成にはプロンプトの最後のトークンの logits だけで十分だからです。長いシーケンスでは、シーケンス全体の logits を計算するとメモリを大量に消費するため、num_logits_to_keep=1を設定することでメモリ使用量を大幅に削減できます。 - pad_token_id (
int、任意、デフォルトは0) — 語彙内でパディングに使用されるトークン ID。 - bos_token_id (
int、任意、デフォルトは1) — 語彙におけるストリーム開始に使用されるトークン ID。 - eos_token_id (
Union[int, list[int]]、任意、デフォルトは2) — 語彙内でストリーム終了に使用されるトークン ID。 - max_position_embeddings (
int、任意、デフォルトは8192) — このモデルが使用される可能性のある最大シーケンス長です。 - attention_dropout (
Union[float, int]、任意、デフォルトは0.0) — アテンション確率のドロップアウト率です。 - mamba_d_ssm (
int、任意、デフォルト値は1024) — FalconH1 の Mamba レイヤーにおける SSM（state-space model）の内部状態サイズです。 - mamba_n_heads (
int、任意、デフォルトは128) — v2 実装で使用する mamba ヘッドの数です。 - mamba_d_head (
Union[str, int]、省略可、デフォルトはauto) — ヘッド埋め込みの次元サイズ - mamba_n_groups (
int, 任意、デフォルトは1) — v2 実装で使用する mamba グループの数です。 - mamba_d_state (
int、任意、デフォルトは256) — Mamba レイヤーにおける SSM 状態(潜在状態の次元)のサイズ。 - mamba_d_conv (
int、任意、デフォルトは4) — Mamba の畳み込みカーネルのサイズ - mamba_expand (
int、任意、デフォルトは2) — mamba の中間サイズを決定するために使用される拡張係数(hidden_size に対する相対値) - mamba_chunk_size (
int、任意、デフォルトは256) — プリフィルや学習を行う際に、シーケンスを分割するチャンクサイズ - mamba_conv_bias (
bool、任意、デフォルトはTrue) — mamba mixer ブロックの畳み込み層でバイアスを使用するかどうかを示すフラグ。 - mamba_proj_bias (
bool、任意、デフォルトはFalse) — mamba mixer ブロックの入力および出力投影（[“in_proj”, “out_proj”]）でバイアスを使用するかどうかを示すフラグ - mamba_norm_before_gate (
bool、任意、デフォルトはTrue) — Mambaミキサーにおいて、ゲーティング機構の前に正規化を適用するかどうかを指定します。 - mamba_rms_norm (
bool、任意、デフォルトはFalse) — Mamba層でRMS正規化を使用するかどうか（標準的なLayerNormに代えて）。 - time_step_limit (
Union[list[float, float], tuple[float, float]]、任意、デフォルトは(0.0, inf)) — クランプに使用するタイムステップ値の許容範囲です。 - projectors_bias (
bool、任意、デフォルトはFalse) — アテンションブロックの入力および出力プロジェクション（[“in_proj”, “out_proj”]）でバイアスを使用するかどうかを示すフラグ - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書にはrope_thetaの値が含まれており、より長いmax_position_embeddingsで RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。 - lm_head_multiplier (
float、任意、デフォルト値は 1.0)— LM head の乗数です。LM head の出力をスケーリングするために使用されます。 - embedding_multiplier (
float、任意、デフォルトは 1.0) — 埋め込み層の乗数です。埋め込み層の出力をスケーリングするために使用されます。 - mlp_multipliers (
list[float], 任意) — MLP層の乗数です。MLP層の出力をスケーリングするために使用されます。最初の値はgate層の乗数、2番目の値はdown_proj層の乗数です。 - key_multiplier (
float, 省略可) — キー層の乗数です。キー層の出力をスケーリングするために使用されます。 - attention_out_multiplier (
float、任意) — アテンション出力層の乗数です。アテンション出力のスケール調整に使用されます。 - attention_in_multiplier (
float, 省略可) — アテンション入力層の乗数です。アテンション入力層の出力をスケーリングするために使用されます。 - ssm_multipliers (
list[float]、省略可) — SSM 層用の乗数です。SSM 層の出力をスケーリングするために使用されます。 - ssm_in_multiplier (
float, 省略可) — SSM入力層の乗数です。SSM入力層の出力をスケーリングするために使用されます。 - ssm_out_multiplier (
float, 省略可) — SSM出力層の乗数です。SSM出力層の出力をスケーリングするために使用されます。 - attention_bias (
bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。 - mlp_bias (
bool、任意、デフォルトはFalse) — MLP層のup_proj、down_proj、gate_proj層でバイアスを使用するかどうかを指定します。
これはFalconH1Modelの設定を保存するための設定クラスです。指定された引数に基づいてFalcon H1モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、tiiuae/Falcon-H1-1.5B-Deep-Instructと類似した設定が得られます。
設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。
FalconH1ForCausalLM
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("tiiuae/Falcon-H1-7B-Instruct", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("tiiuae/Falcon-H1-7B-Instruct")
message = ["Mamba is a snake with following properties "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False).to(model.device)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])クラス transformers.FalconH1ForCausalLM
< source >( config: FalconH1Config )
パラメータ
- config (FalconH1Config) — モデルのすべてのパラメータを含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
因果言語モデリング用のFalcon H1モデル。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → CausalLMOutputWithPast or tuple(torch.FloatTensor)
パラメータ
- input_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。
- attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- position_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返したpast_key_valuesであり、use_cache=Trueまたはconfig.use_cache=True.入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。
past_key_valuesが渡されない場合、デフォルトで DynamicCache が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。
past_key_valuesを使用する場合、すべてのinput_ids（形状(batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理のinput_ids（形状(batch_size, unprocessed_length)）のみを入力することになります。 - inputs_embeds (
torch.FloatTensor、形状(batch_size, sequence_length, hidden_size)、任意) —input_idsを渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、input_idsのインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。 - labels (
torch.LongTensor、shape(batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは[0, ..., config.vocab_size]の範囲内であるか、-100 である必要があります（input_idsの docstring を参照）。インデックスが-100に設定されたトークンは無視（マスク）され、損失は[0, ..., config.vocab_size]の範囲内のラベルを持つトークンに対してのみ計算されます。 - use_cache (
bool、任意) —Trueに設定すると、past_key_valuesのキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_valuesを参照）。 - logits_to_keep (
Union[int, torch.Tensor]、省略可、デフォルトは0) —intの場合、最後のlogits_to_keepトークンについて logits を計算します。0の場合、すべてのinput_idsについて logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。torch.Tensorの場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。
戻り値
CausalLMOutputWithPast または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）、または CausalLMOutputWithPast。設定（FalconH1Config）や入力に応じて、さまざまな要素で構成されます。
FalconH1ForCausalLMのforwardメソッドは、__call__という特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 言語モデリングの損失（次のトークン予測用）。logits (
torch.FloatTensor、shape(batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。past_key_values (
Cache、任意、use_cache=Trueが渡された場合またはconfig.use_cache=Trueの場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。逐次デコーディングを高速化するために使用できる（
past_key_values入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
例:
>>> from transformers import AutoTokenizer, FalconH1ForCausalLM
>>> model = FalconH1ForCausalLM.from_pretrained("...")
>>> tokenizer = AutoTokenizer.from_pretrained("...")
>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")
>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."この HF 実装は、younesbelkada と DhiaEddineRhaiem によって提供されました。
Update on GitHub