Transformers documentation
HRM-Text
このモデルは2025年6月26日にHF papersで公開され、2026年5月18日にHugging Face Transformersに貢献されました。
HRM-Text
概要
HRM-Textは、Sapient AIチームによる階層型推論モデル（HRM、Hierarchical Reasoning Model）の改良版である自己回帰型言語モデリングバリアントです。
これはベースモデルであり、階層型再帰フォワードを使用します。2つのTransformerスタック（Hはゆっくりとした抽象的な計画用、Lは高速で詳細な計算用）が、ネストされた再帰の中で再利用されます：
for h in range(H_cycles):
for l in range(L_cycles):
z_L = L(z_L + z_H)
z_H = H(z_H + z_L)アーキテクチャの特徴:
- PrefixLM attention: 指示トークンは双方向に、応答トークンは因果的にアテンションを行います。
config.prefix_lmで制御されます（デフォルトはTrue）。正規の形式については、4D-masks blog / FlexAttention blog を参照してください。 o_projに適用されるアテンション出力の前に、ヘッドごとのシグモイド出力ゲート が適用されます（Qwen3-Next スタイル。詳細はQwen3NextAttentionを参照）。単一の融合されたgqkv_projとして保存されたレガシーチェックポイントは、登録済みの HRM-Text チェックポイント変換マッピングにより、読み込み時にgate_proj/q_proj/k_proj/v_projに分割されます。- パラメータなし RMSNorm — 学習可能なスケールなしの
F.rms_norm。 L_bp_cycles— HRM の k-step grad trick。学習時には、L_cyclesの低レベル反復のうち、末尾のL_bp_cycles[i]分のみが勾配を伝播します。それより前の反復はtorch.no_grad()の下で実行されるため、そのアクティベーションは保存されません。推論時には影響ありません。
使用方法
HRM-Text-1B はベース言語モデルです。chat_templateは同梱されておらず、apply_chat_templateはこのリリースでは意図的にサポートされていません。事前学習で使用するプロンプト形式は依然として進化の途上にあり、安定したチャットテンプレートを持つ指示チューニング済みバリアントは、別のリリースで提供される予定です。ベースモデルは、プレーンなAutoTokenizerとAutoModelForCausalLM.generate(...)で駆動してください。
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("sapientinc/HRM-Text-1B")
model = AutoModelForCausalLM.from_pretrained(
"sapientinc/HRM-Text-1B", device_map="auto",
)
inputs = tokenizer("The quick brown fox", return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=16, do_sample=False)
print(tokenizer.decode(out[0], skip_special_tokens=True))アテンションのバックエンド
"sdpa" がデフォルトであり、ほとんどのワークロードに最適な選択です。"flex_attention" はサポートされており、長いコンテキストでは効果がありますが、フォワードごとに固定の BlockMask 構築コストが発生し、HRM-Text の再帰スタック再利用から期待されるような利得に相殺されるわけではありません。公開されている 1.2B ベースチェックポイントとデフォルトの H_cycles=2、L_cycles=3 を使用した、単一の H100 における目安の prefill レイテンシは以下の通りです。
| seq_len | sdpa | flex_attention | 推奨 |
|---|---|---|---|
| 64 | 41 ms | 70 ms | sdpa |
| 256 | 41 ms | 70 ms | sdpa |
| 1024 | 42 ms | 69 ms | sdpa |
| 2048 | 85 ms | 78 ms | flex (約 1.1 倍) |
ワークロードに応じてバックエンドを選択してください:
# Default — short / medium context
model = AutoModelForCausalLM.from_pretrained("sapientinc/HRM-Text-1B", device_map="auto")
# Long context (≥ 2K tokens) — FlexAttention's per-block sparsity overtakes SDPA
model = AutoModelForCausalLM.from_pretrained(
"sapientinc/HRM-Text-1B", device_map="auto", attn_implementation="flex_attention",
)両方のバックエンドは同等の logits を生成します（torch 参照実装とのエンドツーエンドの top-1 一致率が 100% であることを検証済み）。"eager" もサポートされており、同じ logits を生成しますが、最新のハードウェアでは最速の選択肢であることは稀です。主な用途は output_attentions=True です。SDPA / FlexAttention はヘッドごとのアテンション重みを返さないため、分析や可視化のためにそれらが必要なパスでは attn_implementation="eager" で実行する必要があります。
FlashAttention のどのバリエーションでも、
flash_attention_*の命名規則に従わない可能性がある FA 2/3/4 や HF Hub のカーネル実装を含む、すべての実装は、config.prefix_lm=True（デフォルト）の場合、HrmTextModel 初期化時に拒否されます。FA バックエンドは causal マスクと non-causal マスクのみを受け入れ、PrefixLM の 4 次元オーバーレイを表現できません。PrefixLM には"sdpa"（デフォルト）または"flex_attention"を使用してください。config.prefix_lm=Falseを設定すると、マスクは純粋な causal になり、FA が再有効化されます。これは、causal のみのファインチューニングや、FA が最速の選択肢となる推論パスに有用です。
PrefixLMの学習
指示 / 応答の境界を尊重する教師ありファインチューニングでは、データコラクターから input_ids とともに token_type_ids を出力します。指示内の位置には 1、応答とパディングには 0 を割り当てます。モデルは、token_type_ids == 1 であるすべての位置を単一の双方向ブロックの一部として扱います。それ以外の位置は因果的（causal）のままです。
import torch
def collate_prefixlm(batch, pad_token_id=0, ignore_label_id=-100):
"""`batch[i] = {"instruction_ids": [...], "response_ids": [...]}`."""
full_ids = [b["instruction_ids"] + b["response_ids"] for b in batch]
prefix_lens = [len(b["instruction_ids"]) for b in batch]
max_len = max(len(ids) for ids in full_ids)
input_ids = torch.full((len(batch), max_len), pad_token_id, dtype=torch.long)
token_type_ids = torch.zeros_like(input_ids)
labels = torch.full_like(input_ids, ignore_label_id)
attention_mask = torch.zeros_like(input_ids)
for i, (ids, plen) in enumerate(zip(full_ids, prefix_lens)):
input_ids[i, : len(ids)] = torch.tensor(ids)
token_type_ids[i, :plen] = 1 # bidirectional prefix
labels[i, plen : len(ids)] = input_ids[i, plen : len(ids)] # loss on response only
attention_mask[i, : len(ids)] = 1
return {
"input_ids": input_ids,
"token_type_ids": token_type_ids,
"attention_mask": attention_mask,
"labels": labels,
}受け入れられる形状については、HrmTextModel.forward()を参照してください。
HrmTextConfig
クラス transformers.HrmTextConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 151808hidden_size: int = 1536intermediate_size: int = 4096num_hidden_layers: int = 16num_attention_heads: int = 12hidden_act: str = 'silu'max_position_embeddings: int = 2048initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Nonetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: int | float | None = 0.0mlp_bias: bool = Falsehead_dim: int = 128H_cycles: int = 2L_cycles: int = 3L_bp_cycles: list[int] | None = Noneembedding_scale: float | None = Noneprefix_lm: bool = Truenum_layers_per_stack: int | None = None )
パラメータ
- vocab_size (
int、任意、デフォルトは151808) — モデルの語彙サイズです。input_idsで表現できるトークンの種類数を定義します。 - hidden_size (
int、任意、デフォルトは1536) — 隠れ表現の次元数。 - intermediate_size (
int、任意、デフォルトは4096) — MLP 表現の次元数。 - num_hidden_layers (
int、任意、デフォルトは16) — Transformer デコーダーの隠れ層の数。 - num_attention_heads (
int、任意、デフォルトは12) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。 - hidden_act (
str、任意、デフォルトはsilu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、"relu"、"silu"など。 - max_position_embeddings (
int、任意、デフォルトは2048) — このモデルが使用される可能性のある最大シーケンス長です。 - initializer_range (
float、任意、デフォルトは0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。 - rms_norm_eps (
float、任意、デフォルトは1e-06) — RMS 正規化レイヤーで使用する epsilon。 - use_cache (
bool、任意、デフォルトはTrue) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=Trueの場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。 - pad_token_id (
int, 任意) — 語彙内でパディングに使用されるトークン ID。 - bos_token_id (
int, 省略可) — 語彙におけるストリーム開始に使用されるトークン ID。 - eos_token_id (
Union[int, list[int]], 省略可) — 語彙内でストリーム終了に使用されるトークン ID。 - tie_word_embeddings (
bool、任意、デフォルトはFalse) — モデルのtied_weights_keysマッピングに従って重み埋め込みを共有するかどうかを指定します。 - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書にはrope_thetaの値が含まれており、より長いmax_position_embeddingsで RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。 - attention_bias (
bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。 - attention_dropout (
Union[int, float]、任意、デフォルトは0.0) — アテンション確率のドロップアウト率です。 - mlp_bias (
bool、任意、デフォルトはFalse) — MLP層のup_proj、down_proj、gate_proj層でバイアスを使用するかどうかを指定します。 - head_dim (
int、任意、デフォルトは128) — アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。 - H_cycles (
int、任意、デフォルトは 2) — 高レベルのサイクル数。 - L_cycles (
int、任意、デフォルトは 3) — 1 つの H サイクルあたりの低レベルサイクル数。 - L_bp_cycles (
list[int]、任意、デフォルトは[2]) — 学習時の勾配ルーティング用のリストです。モデル内部ではL_cyclesまで1で左パディングされます。 推論時には何もしません。 - embedding_scale (
float, 省略可) — トークン埋め込みの乗数。Noneの場合、デフォルト値は1 / initializer_rangeです。 - prefix_lm (
bool、任意、デフォルトはTrue) — 指示トークンは双方向に注意を向け、応答トークンは因果的に注意を向けます。 - num_layers_per_stack (
int, 任意) — H / L スタックのそれぞれに含まれる Transformer ブロックの実際の数です。 初回構築時に自動で設定されます。num_hidden_layersとして渡された値がここで記憶され、 その後num_hidden_layersはnum_layers_per_stack * H_cycles * (L_cycles + 1)に書き換えられます。 これにより、DynamicCache(config=...)が再帰的な forward における 各ユニークな attention 呼び出しに対して 1 スロットずつ事前割り当てを行います。 初回構築時にこの値を直接設定しないでください。 スタックあたりの実際の数をnum_hidden_layersとして渡し、__post_init__に分割を委ねてください。
これは HrmTextModel の設定を保存するための設定クラスです。指定された引数に基づいて Hrm Text モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、sapientinc/HRM-Text-1B と同様の設定が得られます。
設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。
HrmTextModel
クラス transformers.HrmTextModel
< source >( config: HrmTextConfig )
パラメータ
- config (HrmTextConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
特定のヘッドを上に持たず、生の隠れ状態を出力する素の Hrm Text Text Model。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonetoken_type_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.FloatTensor)
パラメータ
- input_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。
- attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- position_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返したpast_key_valuesであり、use_cache=Trueまたはconfig.use_cache=True.入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。
past_key_valuesが渡されない場合、デフォルトで DynamicCache が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。
past_key_valuesを使用する場合、すべてのinput_ids（形状(batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理のinput_ids（形状(batch_size, unprocessed_length)）のみを入力することになります。 - token_type_ids (
torch.LongTensor、形状(batch, seq_len)、任意) — 各位置における双方向/因果的インジケーター。token_type_ids == 1のトークンは単一の双方向ブロックを形成し、それ以外の位置は因果的です。 - inputs_embeds (
torch.FloatTensor、形状(batch_size, sequence_length, hidden_size)、任意) —input_idsを渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、input_idsのインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。 - use_cache (
bool、任意) —Trueに設定すると、past_key_valuesのキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_valuesを参照）。
戻り値
BaseModelOutputWithPast または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）、または BaseModelOutputWithPast。設定（HrmTextConfig）や入力に応じて、さまざまな要素で構成されます。
HrmTextModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
last_hidden_state (
torch.FloatTensor、shape(batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。past_key_values (
Cache、任意、use_cache=Trueが渡された場合またはconfig.use_cache=Trueの場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。自己アテンションブロック（および
config.is_encoder_decoder=Trueの場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらは逐次デコーディングを高速化するために使用できます（past_key_values入力参照）。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
HrmTextForCausalLM
クラス transformers.HrmTextForCausalLM
< source >( config: HrmTextConfig )
パラメータ
- config (HrmTextConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。
因果言語モデリング用の Hrm Text Model。
このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。
このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonetoken_type_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.FloatTensor)
パラメータ
- input_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。
- attention_mask (
torch.Tensorの形状(batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。[0, 1]:- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
- position_ids (
torch.LongTensorの形状(batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返したpast_key_valuesであり、use_cache=Trueまたはconfig.use_cache=True.入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。
past_key_valuesが渡されない場合、デフォルトで DynamicCache が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。
past_key_valuesを使用する場合、すべてのinput_ids（形状(batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理のinput_ids（形状(batch_size, unprocessed_length)）のみを入力することになります。 - token_type_ids (
torch.LongTensor、形状(batch, seq_len)、任意) — 各位置における双方向/因果的インジケーター。token_type_ids == 1のトークンは単一の双方向ブロックを形成し、それ以外の位置は因果的です。 - inputs_embeds (
torch.FloatTensor、形状(batch_size, sequence_length, hidden_size)、任意) —input_idsを渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込みルックアップ行列よりも、input_idsのインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。 - labels (
torch.LongTensor、shape(batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは[0, ..., config.vocab_size]の範囲内であるか、-100 である必要があります（input_idsの docstring を参照）。インデックスが-100に設定されたトークンは無視（マスク）され、損失は[0, ..., config.vocab_size]の範囲内のラベルを持つトークンに対してのみ計算されます。 - use_cache (
bool、任意) —Trueに設定すると、past_key_valuesのキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_valuesを参照）。 - logits_to_keep (
Union[int, torch.Tensor]、省略可、デフォルトは0) —intの場合、最後のlogits_to_keepトークンについて logits を計算します。0の場合、すべてのinput_idsについて logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。torch.Tensorの場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。
戻り値
CausalLMOutputWithPast または tuple(torch.FloatTensor)
torch.FloatTensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）、または CausalLMOutputWithPast。設定（HrmTextConfig）や入力に応じて、さまざまな要素で構成されます。
HrmTextForCausalLM の forward メソッドは、__call__ という特殊メソッドをオーバーライドします。
この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく
Moduleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。
loss (
torch.FloatTensor、shape(1,)、optional、labelsが指定された場合に返されます) — 言語モデリングの損失（次のトークン予測用）。logits (
torch.FloatTensor、shape(batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。past_key_values (
Cache、任意、use_cache=Trueが渡された場合またはconfig.use_cache=Trueの場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。逐次デコーディングを高速化するために使用できる（
past_key_values入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。hidden_states (
tuple(torch.FloatTensor)、optional、output_hidden_states=Trueが渡された場合またはconfig.output_hidden_states=Trueの場合に返されます)—torch.FloatTensorのタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は(batch_size, sequence_length, hidden_size)です。各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (
tuple(torch.FloatTensor)、optional、output_attentions=Trueが渡された場合またはconfig.output_attentions=Trueの場合に返されます)—torch.FloatTensorのタプル（各レイヤーごとに1つ）、形状は(batch_size, num_heads, sequence_length, sequence_length)。アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。