# RAG

  
    
  

[検索拡張生成（RAG）](https://huggingface.co/papers/2005.11401)は、事前学習済みニューラルリトリーバーを用いて、事前学習済み言語モデル（パラメトリックメモリ）と外部データソース（非パラメトリックメモリ）へのアクセスを組み合わせる手法です。RAGは推論時に関連するパスージを取得し、それらを条件として生成を行います。これにより、回答の事実性が向上し、モデル全体の再学習を行うことなくインデックスを変更するだけで知識を更新できることが多くあります。

すべての元のRAGチェックポイントは、[AI at Meta](https://huggingface.co/facebook/models?search=rag)組織の下で確認できます。

> [!TIP]
> このモデルは [ola13](https://huggingface.co/ola13) によって提供されました。
>
> 右側のサイドバーにあるRAGモデルをクリックすると、RAGをさまざまな言語タスクに適用する方法の追加例を確認できます。

以下の例は、[AutoModel](/docs/transformers/main/ja/model_doc/auto#transformers.AutoModel)を使用してテキストを生成する方法を示しています。

```python
from transformers import RagRetriever, RagSequenceForGeneration, RagTokenizer

tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq")
retriever = RagRetriever.from_pretrained(
    "facebook/rag-sequence-nq", dataset="wiki_dpr", index_name="compressed"
)

model = RagSequenceForGeneration.from_pretrained(
    "facebook/rag-sequence-nq",
    retriever=retriever,
    attn_implementation="flash_attention_2",
    device_map="auto",
)
inputs = tokenizer("How many people live in Paris?", return_tensors="pt").to(model.device)
generated = model.generate(input_ids=inputs["input_ids"])
print(tokenizer.batch_decode(generated, skip_special_tokens=True)[0])
```

Quantizationは、重みを低精度で保存することでメモリを削減します。サポートされているバックエンドについては、[Quantization](../quantization/overview)の概要を参照してください。以下の例では、[bitsandbytes](../quantization/bitsandbytes)を使用して重みを4ビットに量子化しています。

```python
import torch

from transformers import BitsAndBytesConfig, RagRetriever, RagSequenceForGeneration, RagTokenizer

bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)

tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq")
retriever = RagRetriever.from_pretrained(
    "facebook/rag-sequence-nq", dataset="wiki_dpr", index_name="compressed"
)

model = RagSequenceForGeneration.from_pretrained(
    "facebook/rag-sequence-nq",
    retriever=retriever,
    quantization_config=bnb,
    device_map="auto",
)
inputs = tokenizer("How many people live in Paris?", return_tensors="pt").to(model.device)
generated = model.generate(input_ids=inputs["input_ids"])
print(tokenizer.batch_decode(generated, skip_special_tokens=True)[0])
```

## RagConfig[[transformers.RagConfig]]

#### transformers.RagConfig[[transformers.RagConfig]]

```python
transformers.RagConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, question_encoder: transformers.configuration_utils.PreTrainedConfig | dict | None = None, generator: transformers.configuration_utils.PreTrainedConfig | dict | None = None, vocab_size: int | None = None, prefix: str | None = None, bos_token_id: int | None = None, pad_token_id: int | None = None, eos_token_id: int | list[int] | None = None, decoder_start_token_id: int | None = None, title_sep: str = ' / ', doc_sep: str = ' // ', n_docs: int = 5, max_combined_length: int = 300, retrieval_vector_size: int = 768, retrieval_batch_size: int = 8, dataset: str = 'wiki_dpr', dataset_split: str = 'train', index_name: str = 'compressed', index_path: str | None = None, passages_path: str | None = None, use_dummy_dataset: bool = False, reduce_loss: bool = False, label_smoothing: float = 0.0, do_deduplication: bool = True, exclude_bos_score: bool = False, do_marginalize: bool = False, output_retrieved: bool = False, use_cache: bool = True, dataset_revision: str | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/configuration_rag.py#L25)

**パラメータ:**

is_encoder_decoder (`bool`、*任意*、デフォルトは`True`) : モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。

question_encoder (`PreTrainedConfig | dict`、*任意*) : 質問エンコーダーのバックボーンの設定オブジェクトまたは辞書

generator (`PreTrainedConfig | dict`、*任意*) : 回答生成器のバックボーンの設定オブジェクトまたは辞書

vocab_size (`int`, *任意*) : モデルの語彙サイズ。`input_ids`で表現できるトークンの種類数を定義します。

prefix (`str`, *任意*) : ジェネレーターモデルに渡す前に、すべての入力に先頭で付加される文字列プレフィックス。

bos_token_id (`int`, *任意*) : 語彙内でストリームの開始に使用されるトークン ID。

pad_token_id (`int`, *任意*) : 語彙内でパディングに使用されるトークンID。

eos_token_id (`Union[int, list[int]]`、*任意*) : 語彙内でストリームの終了に使用されるトークン ID。

decoder_start_token_id (`int`, *任意*) : エンコーダー・デコーダーモデルが`bos`以外のトークンでデコーディングを開始する場合、そのトークンのID。

title_sep (`str`、*任意*、デフォルトは  `" / "`) : [RagRetriever](/docs/transformers/main/ja/model_doc/rag#transformers.RagRetriever)を呼び出す際に、取得したドキュメントのタイトルと本文の間に挿入される区切り文字。

doc_sep (`str`、*任意*、デフォルトは  `" // "`) : [RagRetriever](/docs/transformers/main/ja/model_doc/rag#transformers.RagRetriever)を呼び出す際に、取得したドキュメントのテキストと元の入力テキストの間に挿入される区切り文字。

n_docs (`int`、*任意*、デフォルトは 5) : 取得するドキュメントの数。

max_combined_length (`int`、*任意*、デフォルトは 300) : `__call__()` が返すコンテキスト付き入力の最大長。

retrieval_vector_size (`int`、*任意*、デフォルトは 768) : [RagRetriever](/docs/transformers/main/ja/model_doc/rag#transformers.RagRetriever)がインデックス化するドキュメント埋め込みの次元数。

retrieval_batch_size (`int`、*optional*、デフォルトは 8) : [RagRetriever](/docs/transformers/main/ja/model_doc/rag#transformers.RagRetriever) にカプセル化された faiss インデックスに対して同時に発行されるクエリの数として定義される、検索のバッチサイズ。

dataset (`str`、*任意*、デフォルトは`"wiki_dpr"`) : HuggingFace Datasets におけるインデックス付きデータセットのデータセット識別子です（`datasets.list_datasets()` を使用して利用可能なデータセットと ID の一覧を表示できます）。

dataset_split (`str`、*任意*、デフォルトは`"train"`) : `dataset`のどの分割を読み込むかを指定します。

index_name (`str`、*任意*、デフォルトは`"compressed"`) : `dataset`に関連付けられたインデックスのインデックス名です。`"legacy"`、`"exact"`、`"compressed"`のいずれかを選択できます。

index_path (`str`, *任意*) : ディスク上のシリアライズされたfaissインデックスへのパス。

passages_path (`str`, *任意*) : faiss インデックスと互換性のあるテキストパッセージへのパス。`LegacyIndex` を使用する場合は必須です。

use_dummy_dataset (`bool`、*任意*、デフォルトは`False`) : `dataset`で指定されたデータセットの「ダミー」バージョンを読み込むかどうか。

reduce_loss (`bool`、*任意*、デフォルトは`False`) : `torch.Tensor.sum` 操作を使用して NLL ロスを削減するかどうか。

label_smoothing (`float`、*optional*、デフォルト値は 0.0) : `return_loss` が `True` に設定されている場合にのみ関連します。損失計算におけるラベルスモージングの `epsilon` パラメータの値を制御します。0 に設定すると、ラベルスモージングは行われません。

do_deduplication (`bool`、*任意*、デフォルトは`True`) : 与えられた入力に対して、異なるコンテキスト文書からの生成結果を重複排除するかどうか。分散バックエンドでトレーニング中に使用する場合は、`False`に設定する必要があります。

exclude_bos_score (`bool`、*任意*、デフォルトは`False`) : ロスの計算時にBOSトークンを無視するかどうか。

do_marginalize (`bool`、*任意*、デフォルトは`False`) : `True`の場合、`torch.nn.functional.log_softmax`を使用して、すべてのドキュメントにわたってlogitsを周辺化します。

output_retrieved (`bool`、*任意*、デフォルトは`False`) : `True`に設定すると、`retrieved_doc_embeds`、`retrieved_doc_ids`、`context_input_ids`、`context_attention_mask`が返されます。詳細は返されるテンソルを参照してください。

use_cache (`bool`、*任意*、デフォルトは `True`) : モデルが最後のキー/バリューアテンションを返すかどうか（すべてのモデルで利用されるわけではありません）。`config.is_decoder=True` の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。

dataset_revision (`str`, *任意*,) : 検索に使用される Hugging Face データセットのリビジョン（コミットハッシュ、タグ、またはブランチ）。

これはRagModelの設定を保存するための設定クラスです。指定された引数に基づいてRagモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[](https://huggingface.co/)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

#### from_question_encoder_generator_configs[[transformers.RagConfig.from_question_encoder_generator_configs]]

```python
from_question_encoder_generator_configs(question_encoder_config: PreTrainedConfig, generator_config: PreTrainedConfig, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/configuration_rag.py#L129)

**戻り値:** [EncoderDecoderConfig](/docs/transformers/main/ja/model_doc/encoder-decoder#transformers.EncoderDecoderConfig)

設定オブジェクトのインスタンス

事前学習済みエンコーダーモデルの設定とデコーダーモデルの設定から、[EncoderDecoderConfig](/docs/transformers/main/ja/model_doc/encoder-decoder#transformers.EncoderDecoderConfig)（または派生クラス）をインスタンス化します。

## RagTokenizer[[transformers.RagTokenizer]]

#### transformers.RagTokenizer[[transformers.RagTokenizer]]

```python
transformers.RagTokenizer(question_encoder, generator)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/tokenization_rag.py#L25)

## Rag固有の出力[[transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput]]

#### transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput[[transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput]]

```python
transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput(loss: typing.Optional[torch.FloatTensor] = None, logits: typing.Optional[torch.FloatTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, retrieved_doc_embeds: typing.Optional[torch.FloatTensor] = None, retrieved_doc_ids: typing.Optional[torch.LongTensor] = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, question_encoder_last_hidden_state: typing.Optional[torch.FloatTensor] = None, question_enc_hidden_states: tuple[torch.FloatTensor, ...] | None = None, question_enc_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_enc_last_hidden_state: typing.Optional[torch.FloatTensor] = None, generator_enc_hidden_states: tuple[torch.FloatTensor, ...] | None = None, generator_enc_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_dec_hidden_states: tuple[torch.FloatTensor, ...] | None = None, generator_dec_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_cross_attentions: tuple[torch.FloatTensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L42)

**パラメータ:**

loss (`torch.FloatTensor`、shape `(1,)`、*任意*、`labels` が指定された場合のみ返されます) : 言語モデリングの損失。

logits (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.vocab_size)`) : 言語モデリングヘッドの予測スコアです。各語彙トークンについて、スコアはすべての文書にわたってマージナライズされている可能性があります。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。

past_key_values (`Cache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) : [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。デコーダーの事前計算済み hidden-states（attention ブロックの key と value）を保持しており、シーケンシャルなデコーディングを高速化するために使用できます（`past_key_values` 入力参照）。

retrieved_doc_embeds (`torch.FloatTensor`、shape `(batch_size, config.n_docs, hidden_size)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって取得された埋め込みドキュメント。`question_encoder_last_hidden_state` と組み合わせて `doc_scores` を計算するために使用されます。

retrieved_doc_ids (`torch.LongTensor`、shape `(batch_size, config.n_docs)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって取得された埋め込みドキュメントのインデックスです。

context_input_ids (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって、検索されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID です。

context_attention_mask (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合返されます) : リトリーバーによって、取得されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスク。

question_encoder_last_hidden_state (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) : モデルのクエリエンコーダーの最終層の出力における、プーリングされた隠れ状態のシーケンス。

question_enc_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各レイヤーの出力におけるクエリエンコーダーの隠れ状態と、初期の埋め込み出力です。

question_enc_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のクエリエンコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_enc_last_hidden_state (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) : モデルのジェネレーターエンコーダーの最終層の出力における、隠れ状態のシーケンス。

generator_enc_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。ジェネレータのエンコーダの各レイヤーの出力における隠れ状態と、初期の埋め込み出力です。

generator_enc_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 適用後のジェネレーターエンコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_dec_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。ジェネレータのデコーダーの各レイヤーの出力時の隠れ状態と、初期の埋め込み出力です。

generator_dec_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 適用後のジェネレーターデコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_cross_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。クロスアテンションの softmax 適用後のジェネレーターデコーダーのクロスアテンション重みで、クロスアテンションヘッドにおける加重平均の計算に使用されます。

リトリーバー拡張マージナライズドモデルの出力の基底クラス。

#### transformers.models.rag.modeling_rag.RetrievAugLMOutput[[transformers.models.rag.modeling_rag.RetrievAugLMOutput]]

```python
transformers.models.rag.modeling_rag.RetrievAugLMOutput(logits: typing.Optional[torch.FloatTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, retrieved_doc_embeds: typing.Optional[torch.FloatTensor] = None, retrieved_doc_ids: typing.Optional[torch.LongTensor] = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, question_encoder_last_hidden_state: typing.Optional[torch.FloatTensor] = None, question_enc_hidden_states: tuple[torch.FloatTensor, ...] | None = None, question_enc_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_enc_last_hidden_state: typing.Optional[torch.FloatTensor] = None, generator_enc_hidden_states: tuple[torch.FloatTensor, ...] | None = None, generator_enc_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_dec_hidden_states: tuple[torch.FloatTensor, ...] | None = None, generator_dec_attentions: tuple[torch.FloatTensor, ...] | None = None, generator_cross_attentions: tuple[torch.FloatTensor, ...] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L134)

**パラメータ:**

logits (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.vocab_size)`) : 言語モデリングヘッドの予測スコアです。各語彙トークンについて、スコアはすべての文書にわたってマージナライズされている可能性があります。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。

past_key_values (`Cache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) : [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。デコーダーの事前計算済み hidden-states（attention ブロックの key と value）を保持しており、シーケンシャルなデコーディングを高速化するために使用できます（`past_key_values` 入力参照）。

retrieved_doc_embeds (`torch.FloatTensor`、shape `(batch_size, config.n_docs, hidden_size)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって取得された埋め込みドキュメント。`question_encoder_last_hidden_state` と組み合わせて `doc_scores` を計算するために使用されます。

retrieved_doc_ids (`torch.LongTensor`、shape `(batch_size, config.n_docs)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって取得された埋め込みドキュメントのインデックスです。

context_input_ids (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって、検索されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID です。

context_attention_mask (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合返されます) : リトリーバーによって、取得されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスク。

question_encoder_last_hidden_state (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) : モデルのクエリエンコーダーの最終層の出力における、プーリングされた隠れ状態のシーケンス。

question_enc_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各レイヤーの出力におけるクエリエンコーダーの隠れ状態と、初期の埋め込み出力です。

question_enc_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 後のクエリエンコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_enc_last_hidden_state (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) : モデルのジェネレーターエンコーダーの最終層の出力における、隠れ状態のシーケンス。

generator_enc_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。ジェネレータのエンコーダの各レイヤーの出力における隠れ状態と、初期の埋め込み出力です。

generator_enc_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 適用後のジェネレーターエンコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_dec_hidden_states (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) : `torch.FloatTensor` のタプル（埋め込みの出力用と各レイヤーの出力用がそれぞれ1つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。ジェネレータのデコーダーの各レイヤーの出力時の隠れ状態と、初期の埋め込み出力です。

generator_dec_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。アテンションの softmax 適用後のジェネレーターデコーダーのアテンション重みで、セルフアテンションヘッドにおける加重平均の計算に使用されます。

generator_cross_attentions (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) : `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)` です。クロスアテンションの softmax 適用後のジェネレーターデコーダーのクロスアテンション重みで、クロスアテンションヘッドにおける加重平均の計算に使用されます。

## RagRetriever[[transformers.RagRetriever]]

#### transformers.RagRetriever[[transformers.RagRetriever]]

```python
transformers.RagRetriever(config, question_encoder_tokenizer, generator_tokenizer, index = None, init_retrieval = True)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/retrieval_rag.py#L347)

**パラメータ:**

config ([RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig)) : この Retriever が使用される RAG モデルの設定です。構築する `Index` を示すパラメータが含まれています。`config.index_name="custom"` を使用して独自のカスタムデータセットを読み込むことも、`config.index_name="wiki_dpr"` のように datasets ライブラリから正規のデータセット（デフォルト）を使用することもできます。

question_encoder_tokenizer ([PreTrainedTokenizer](/docs/transformers/main/ja/main_classes/tokenizer#transformers.PythonBackend)) : 質問をトークナイズするために使用されたトークナイザーです。質問をデコードし、その後 generator_tokenizer を使用するために用いられます。

generator_tokenizer ([PreTrainedTokenizer](/docs/transformers/main/ja/main_classes/tokenizer#transformers.PythonBackend)) : RagModel のジェネレーター部分で使用されるトークナイザー。

index (`Index`、省略可能、デフォルトは設定で定義されたもの) : 指定された場合、設定を使用して構築されたものではなく、このインデックスを使用します

Retrieverは、ベクトリークエリからドキュメントを取得するために使用されます。ドキュメントの埋め込みとドキュメントの内容を取得し、RagModelで使用するための形式に整形します。

例:

```python
>>> # To load the default "wiki_dpr" dataset with 21M passages from wikipedia (index name is 'compressed' or 'exact')
>>> from transformers import RagRetriever

>>> retriever = RagRetriever.from_pretrained(
...     "facebook/rag-sequence-nq", dataset="wiki_dpr", index_name="compressed"
... )

>>> # To load your own indexed dataset built with the datasets library.
>>> from transformers import RagRetriever

>>> dataset = (
...     ...
... )  # dataset must be a datasets.Datasets object with columns "title", "text" and "embeddings", and it must have a supported index (e.g., Faiss or other index types depending on your setup)
>>> retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", indexed_dataset=dataset)

>>> # To load your own indexed dataset built with the datasets library that was saved on disk.
>>> from transformers import RagRetriever

>>> dataset_path = "path/to/my/dataset"  # dataset saved via *dataset.save_to_disk(...)*
>>> index_path = "path/to/my/index"  # index saved via *dataset.get_index("embeddings").save(...)*
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/rag-sequence-nq",
...     index_name="custom",
...     passages_path=dataset_path,
...     index_path=index_path,
... )

>>> # To load the legacy index built originally for Rag's paper
>>> from transformers import RagRetriever

>>> retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", index_name="legacy")
```

#### init_retrieval[[transformers.RagRetriever.init_retrieval]]

```python
init_retrieval()
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/retrieval_rag.py#L482)

Retrieverの初期化関数です。インデックスをメモリに読み込みます。

#### postprocess_docs[[transformers.RagRetriever.postprocess_docs]]

```python
postprocess_docs(docs, input_strings, prefix, n_docs, return_tensors = None)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/retrieval_rag.py#L490)

**パラメータ:**

docs (`dict`) : 取得されたドキュメント。

input_strings (`str`) : `preprocess_query`によってデコードされた入力文字列。

prefix (`str`) : 各入力の先頭に追加されるプレフィックス。T5ベースのモデルと組み合わせて使用されることが一般的です。

**戻り値:** `tuple(tensors)`

`input_ids`と互換性のある`attention_mask`からなる2要素のタプル。

取得した`docs`を後処理し、`input_strings`と結合します。

#### 検索[[transformers.RagRetriever.retrieve]]

```python
retrieve(question_hidden_states: ndarray, n_docs: int)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/retrieval_rag.py#L559)

**パラメータ:**

question_hidden_states (`np.ndarray`、形状 `(batch_size, vector_size)`) : 検索に使用するクエリベクトルのバッチ。

n_docs (`int`) : クエリごとに取得されるドキュメントの数。

**戻り値:** `tuple[np.ndarray, np.ndarray, list[dict]]`

以下のオブジェクトを含むタプル:

- **retrieved_doc_embeds** (`np.ndarray`、形状 `(batch_size, n_docs, dim)`) -- クエリごとの検索ドキュメントの検索埋め込み。
- **doc_ids** (`np.ndarray`、形状 `(batch_size, n_docs)`) -- インデックス内のドキュメントのID
- **doc_dicts** (`list[dict]`): クエリごとの`retrieved_doc_embeds`の例。

指定された`question_hidden_states`のドキュメントを取得します。

## RagModel[[transformers.RagModel]]

#### transformers.RagModel[[transformers.RagModel]]

```python
transformers.RagModel(config: transformers.configuration_utils.PreTrainedConfig | None = None, question_encoder: transformers.modeling_utils.PreTrainedModel | None = None, generator: transformers.modeling_utils.PreTrainedModel | None = None, retriever: transformers.models.rag.retrieval_rag.RagRetriever | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L372)

**パラメータ:**

config ([PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig)、*任意*) : モデルのパラメータをすべて含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

question_encoder (`PreTrainedModel`, *任意*) : 検索のために質問を隠れ状態にエンコードするモデルです。

generator (`PreTrainedModel`, *任意*) : 検索されたドキュメントに基づいてテキストを生成するモデルです。

retriever (`RagRetriever`, *任意*) : エンコードされた質問に基づいてナレッジベースからドキュメントを検索するコンポーネントです。

特定のヘッドを上に載せずに、生のhidden-statesを出力する素のRag Model。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.RagModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_outputs: tuple[tuple[torch.FloatTensor]] | None = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.BoolTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, doc_scores: typing.Optional[torch.FloatTensor] = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, output_retrieved: bool | None = None, n_docs: int | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L425)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig) はモデルの初期化に使用され、使用するジェネレーターを指定するとともに、互換性のあるジェネレーター用トークナイザーも指定します。そのトークナイザークラスを使用してインデックスを取得してください。[入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

encoder_outputs `tuple(tuple(torch.FloatTensor)`、*optional*) : (`generator_enc_last_hidden_state`、*optional*: `generator_enc_hidden_states`、*optional*: `generator_enc_attentions`) のタプル。`generator_enc_last_hidden_state` は、形状が `(batch_size, n_docs * sequence_length, hidden_size)` で、ジェネレーターのエンコーダーの最終層の出力における隠れ状態のシーケンスです。[RagModel](/docs/transformers/main/ja/model_doc/rag#transformers.RagModel) モデルがデコーディング中に使用します。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 生成タスク用に提供します。デフォルトでは`None`です。RAGインスタンスで使用しているジェネレーターモデルの指示に従って構築してください。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*任意*) : 語彙におけるデコーダー入力シーケンスのトークンインデックス。[AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用してインデックスを取得できます。詳細は [PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[デコーダー入力 ID とは？](../glossary#decoder-input-ids)

decoder_attention_mask (`torch.BoolTensor`、形状 `(batch_size,  target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_ids`内のpadトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/main/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。モデルが`retriever`で初期化されていない場合、フォワードパスに`doc_scores`を指定する必要があります。`doc_scores`は`question_encoder_last_hidden_state`と`retrieved_doc_embeds`から計算できます。詳細は例を参照してください。

context_input_ids (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと、クエリエンコーダーの `input_ids` を、retriever によって後処理した入力 ID です。モデルが `retriever` を用いて初期化されていない場合、フォワードパスには ``context_input_ids`` を提供する必要があります。`context_input_ids` は `__call__()` によって返されます。

context_attention_mask (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと質問エンコーダーの `input_ids` から、retriever によって後処理されたアテンションマスクです。モデルが `retriever` で初期化されていない場合、forward pass に `context_attention_mask` を提供する必要があります。`context_attention_mask` は `__call__()` によって返されます。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

output_retrieved (`bool`, *任意*) : `retrieved_doc_embeds`、`retrieved_doc_ids`、`context_input_ids`、`context_attention_mask`を返すかどうかを指定します。詳細は返されるテンソルを参照してください。

n_docs (`int`, *任意*) : 取得するドキュメントの数。

**戻り値:** [RetrievAugLMOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMOutput) または `tuple(torch.FloatTensor)`

[RetrievAugLMOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMOutput)、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。構成要素は、設定（[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig)）と入力に応じて異なります。

[RagModel](/docs/transformers/main/ja/model_doc/rag#transformers.RagModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **logits** (`torch.FloatTensor`、shape `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア。各語彙トークンについて、スコアはすべての文書にわたってマージナライズされている可能性があります。
- **doc_scores** (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) -- 各検索されたドキュメントの埋め込み（`retrieved_doc_embeds` を参照）と `question_encoder_last_hidden_state` の間のスコア。
- **past_key_values** (`Cache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  シーケンシャルなデコーディングを高速化するために使用できる（`past_key_values` 入力参照）、デコーダーの事前計算済みヒドゥンステート（アテンションブロック内のキーとバリュー）が含まれます。
- **retrieved_doc_embeds** (`torch.FloatTensor`、shape `(batch_size, config.n_docs, hidden_size)`、*optional*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって取得された埋め込みドキュメント。`question_encoder_last_hidden_state` と組み合わせて `doc_scores` を計算するために使用されます。
- **retrieved_doc_ids** (`torch.LongTensor`、shape `(batch_size, config.n_docs)`、*optional*、*output_retrieved=True* の場合のみ返されます) -- リトリーバーによって取得された埋め込みドキュメントのインデックスです。
- **context_input_ids** (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID。
- **context_attention_mask** (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスク。
- **question_encoder_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのクエリエンコーダーの最終層の出力における、プーリングされた出力の隠れ状態のシーケンス。
- **question_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込みの出力と各層の出力それぞれに対応するもの）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  クエリエンコーダーの各層の出力および初期埋め込み出力における隠れ状態。
- **question_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クエリエンコーダーのアテンション重み。アテンションのsoftmax適用後、自己アテンションヘッドにおける加重平均の計算に使用されます。
- **generator_enc_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのジェネレーターエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **generator_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのエンコーダーの各層の出力における隠れ状態、および初期埋め込みの出力。
- **generator_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  Attentions weights of the generator encoder, after the attention softmax, used to compute the weighted average in the self-attention heads.
- **generator_dec_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのデコーダーにおける各層の出力の隠れ状態、および初期埋め込みの出力。
- **generator_dec_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、ジェネレーターのデコーダーのアテンション重み（アテンションのsoftmax適用後）。
- **generator_cross_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンションのsoftmax適用後、ジェネレーターのデコーダーにおけるクロスアテンションヘッド内で加重平均を計算するために使用される重み。

例:

```python
>>> from transformers import AutoTokenizer, RagRetriever, RagModel
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/rag-token-base")
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/rag-token-base", index_name="exact", use_dummy_dataset=True
... )
>>> # initialize with RagRetriever to do everything in one forward call
>>> model = RagModel.from_pretrained("facebook/rag-token-base", retriever=retriever)

>>> inputs = tokenizer("How many people live in Paris?", return_tensors="pt")
>>> outputs = model(input_ids=inputs["input_ids"])
```

## RagSequenceForGeneration[[transformers.RagSequenceForGeneration]]

#### transformers.RagSequenceForGeneration[[transformers.RagSequenceForGeneration]]

```python
transformers.RagSequenceForGeneration(config: transformers.configuration_utils.PreTrainedConfig | None = None, question_encoder: transformers.modeling_utils.PreTrainedModel | None = None, generator: transformers.modeling_utils.PreTrainedModel | None = None, retriever: transformers.models.rag.retrieval_rag.RagRetriever | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L663)

**パラメータ:**

config ([PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig)、*任意*) : モデルのパラメータをすべて含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

question_encoder (`PreTrainedModel`, *任意*) : 検索のために質問を隠れ状態にエンコードするモデルです。

generator (`PreTrainedModel`, *任意*) : 検索されたドキュメントに基づいてテキストを生成するモデルです。

retriever (`RagRetriever`, *任意*) : エンコードされた質問に基づいてナレッジベースからドキュメントを検索するコンポーネントです。

RAG-sequenceモデルの実装です。forward passにおいて、RAG-sequence固有の周辺化（marginalization）を実行します。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.RagSequenceForGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.BoolTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, output_retrieved: bool | None = None, exclude_bos_score: bool | None = None, reduce_loss: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, n_docs: int | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L702)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig) はモデルの初期化に使用され、使用するジェネレーターを指定するとともに、互換性のあるジェネレーター用トークナイザーも指定します。そのトークナイザークラスを使用してインデックスを取得してください。[入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

encoder_outputs `tuple(tuple(torch.FloatTensor)`、*optional*) : (`generator_enc_last_hidden_state`、*optional*: `generator_enc_hidden_states`、*optional*: `generator_enc_attentions`) のタプル。`generator_enc_last_hidden_state` は、形状が `(batch_size, n_docs * sequence_length, hidden_size)` で、ジェネレーターのエンコーダーの最終層の出力における隠れ状態のシーケンスです。[RagModel](/docs/transformers/main/ja/model_doc/rag#transformers.RagModel) モデルがデコーディング中に使用します。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 生成タスク用に提供します。デフォルトでは`None`です。RAGインスタンスで使用しているジェネレーターモデルの指示に従って構築してください。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*任意*) : 語彙におけるデコーダー入力シーケンスのトークンインデックス。[AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用してインデックスを取得できます。詳細は [PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[デコーダー入力 ID とは？](../glossary#decoder-input-ids)

decoder_attention_mask (`torch.BoolTensor`、形状 `(batch_size,  target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_ids`内のpadトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/main/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

context_input_ids (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと、クエリエンコーダーの `input_ids` を、retriever によって後処理した入力 ID です。モデルが `retriever` を用いて初期化されていない場合、フォワードパスには ``context_input_ids`` を提供する必要があります。`context_input_ids` は `__call__()` によって返されます。

context_attention_mask (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと質問エンコーダーの `input_ids` から、retriever によって後処理されたアテンションマスクです。モデルが `retriever` で初期化されていない場合、forward pass に `context_attention_mask` を提供する必要があります。`context_attention_mask` は `__call__()` によって返されます。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。モデルが`retriever`で初期化されていない場合、フォワードパスに`doc_scores`を指定する必要があります。`doc_scores`は`question_encoder_last_hidden_state`と`retrieved_doc_embeds`から計算できます。詳細は例を参照してください。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

output_retrieved (`bool`, *任意*) : `retrieved_doc_embeds`、`retrieved_doc_ids`、`context_input_ids`、`context_attention_mask`を返すかどうかを指定します。詳細は返されるテンソルを参照してください。

exclude_bos_score (`bool`, *任意*) : `labels` が渡された場合にのみ関連します。`True` の場合、損失を計算する際に BOS トークンのスコアは無視されます。

reduce_loss (`bool`, *任意*) : `labels` が渡された場合にのみ関連します。`True` の場合、NLL ロスは `torch.Tensor.sum` 操作を使用して集約されます。

labels (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : マスク言語モデリング損失を計算するためのラベル。インデックスは `[0, ..., config.vocab_size]` の範囲内であるか、-100 である必要があります（`input_ids` のドキュメント文字列を参照）。インデックスが `-100` に設定されたトークンは無視（マスク）され、損失は `[0, ..., config.vocab_size]` の範囲内のラベルを持つトークンに対してのみ計算されます。

n_docs (`int`, *任意*) : 取得するドキュメントの数。

**戻り値:** [RetrievAugLMMarginOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput) または `tuple(torch.FloatTensor)`

`torch.FloatTensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）または [RetrievAugLMMarginOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput)。設定（[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig)）と入力に応じて、さまざまな要素で構成されます。

[RagSequenceForGeneration](/docs/transformers/main/ja/model_doc/rag#transformers.RagSequenceForGeneration)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.FloatTensor`、shape `(1,)`、*optional*、`labels` が指定された場合に返されます) -- 言語モデリングの損失。
- **logits** (`torch.FloatTensor`、shape `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア。各語彙トークンについて、スコアはすべての文書にわたってマージナライズされている可能性があります。
- **doc_scores** (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) -- 各検索されたドキュメントの埋め込み（`retrieved_doc_embeds` を参照）と `question_encoder_last_hidden_state` の間のスコア。
- **past_key_values** (`Cache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  シーケンシャルなデコーディングを高速化するために使用できる（`past_key_values` 入力参照）、デコーダーの事前計算済みヒドゥンステート（アテンションブロック内のキーとバリュー）が含まれます。
- **retrieved_doc_embeds** (`torch.FloatTensor`、shape `(batch_size, config.n_docs, hidden_size)`、*optional*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって取得された埋め込みドキュメント。`question_encoder_last_hidden_state` と組み合わせて `doc_scores` を計算するために使用されます。
- **retrieved_doc_ids** (`torch.LongTensor`、shape `(batch_size, config.n_docs)`、*optional*、*output_retrieved=True* の場合のみ返されます) -- リトリーバーによって取得された埋め込みドキュメントのインデックスです。
- **context_input_ids** (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID。
- **context_attention_mask** (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスク。
- **question_encoder_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのクエリエンコーダーの最終層の出力における、プーリングされた出力の隠れ状態のシーケンス。
- **question_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込みの出力と各層の出力それぞれに対応するもの）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  クエリエンコーダーの各層の出力および初期埋め込み出力における隠れ状態。
- **question_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クエリエンコーダーのアテンション重み。アテンションのsoftmax適用後、自己アテンションヘッドにおける加重平均の計算に使用されます。
- **generator_enc_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのジェネレーターエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **generator_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのエンコーダーの各層の出力における隠れ状態、および初期埋め込みの出力。
- **generator_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  Attentions weights of the generator encoder, after the attention softmax, used to compute the weighted average in the self-attention heads.
- **generator_dec_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのデコーダーにおける各層の出力の隠れ状態、および初期埋め込みの出力。
- **generator_dec_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、ジェネレーターのデコーダーのアテンション重み（アテンションのsoftmax適用後）。
- **generator_cross_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンションのsoftmax適用後、ジェネレーターのデコーダーにおけるクロスアテンションヘッド内で加重平均を計算するために使用される重み。

例:

```python
>>> from transformers import AutoTokenizer, RagRetriever, RagSequenceForGeneration
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/rag-sequence-nq")
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/rag-sequence-nq", index_name="exact", use_dummy_dataset=True
... )
>>> # initialize with RagRetriever to do everything in one forward call
>>> model = RagSequenceForGeneration.from_pretrained("facebook/rag-token-nq", retriever=retriever)

>>> inputs = tokenizer("How many people live in Paris?", return_tensors="pt")
>>> targets = tokenizer(text_target="In Paris, there are 10 million people.", return_tensors="pt")
>>> input_ids = inputs["input_ids"]
>>> labels = targets["input_ids"]
>>> outputs = model(input_ids=input_ids, labels=labels)

>>> # or use retriever separately
>>> model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", use_dummy_dataset=True)
>>> # 1. Encode
>>> question_hidden_states = model.question_encoder(input_ids)[0]
>>> # 2. Retrieve
>>> docs_dict = retriever(input_ids.numpy(), question_hidden_states.detach().numpy(), return_tensors="pt")
>>> doc_scores = torch.bmm(
...     question_hidden_states.unsqueeze(1), docs_dict["retrieved_doc_embeds"].float().transpose(1, 2)
... ).squeeze(1)
>>> # 3. Forward to generator
>>> outputs = model(
...     context_input_ids=docs_dict["context_input_ids"],
...     context_attention_mask=docs_dict["context_attention_mask"],
...     doc_scores=doc_scores,
...     decoder_input_ids=labels,
... )
```

#### generate[[transformers.RagSequenceForGeneration.generate]]

```python
generate(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, do_deduplication: bool | None = None, num_return_sequences: int | None = None, num_beams: int | None = None, n_docs: int | None = None, **model_kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L875)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : 生成のプロンプトとして使用されるシーケンス。`input_ids` が渡されない場合、`context_input_ids` を提供する必要があります。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

context_input_ids (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合のみ返されます) : リトリーバーによって、取得されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID。

context_attention_mask (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : リトリーバーによって、検索されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスクです。モデルが `retriever` で初期化されていない場合、または `input_ids` が指定されていない場合は、フォワードパスに `context_input_ids` と `context_attention_mask` を提供する必要があります。これらは `__call__()` によって返されます。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。モデルが`retriever`で初期化されていない場合、または`input_ids`が与えられない場合は、フォワードパスに`doc_scores`を指定する必要があります。`doc_scores`は`__call__()`によって返されます。

do_deduplication (`bool`, *任意*) : 特定の入力に対して、異なるコンテキスト文書からの生成結果を重複排除するかどうか。分散バックエンドでトレーニング中に使用する場合は、`False` に設定する必要があります。

num_return_sequences(`int`、*任意*、デフォルトは 1) : バッチ内の各要素に対して、独立して計算して返されるシーケンスの数。これは、`generator` の `[generate()](/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationMixin.generate)` 関数に渡す値ではなく、ここでは `num_return_sequences` を `num_beams` に設定しています。

num_beams (`int`、*optional*、デフォルトは 1) : ビームサーチのビーム数。1 はビームサーチを行わないことを意味します。

n_docs (`int`、*任意*、デフォルトは`config.n_docs`) : 取得するドキュメントの数、および/または回答を生成する対象のドキュメントの数。

kwargs (`dict[str, Any]`、*任意*) : 追加の kwargs は [generate()](/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationMixin.generate) に渡されます。

**戻り値:** `torch.LongTensor`、形状は `(batch_size * num_return_sequences, sequence_length)`

生成されたシーケンス。2 次元目（シーケンス長）は、`max_length` と等しいか、`eos_token_id` によりすべてのバッチが早期に終了した場合にそれより短くなります。

RAGシーケンスの「thorough」デコーディングを実装します。他のgenerate入力パラメータの設定方法については、[generate()](/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationMixin.generate)`のドキュメントを参照してください。

## RagTokenForGeneration[[transformers.RagTokenForGeneration]]

#### transformers.RagTokenForGeneration[[transformers.RagTokenForGeneration]]

```python
transformers.RagTokenForGeneration(config: transformers.configuration_utils.PreTrainedConfig | None = None, question_encoder: transformers.modeling_utils.PreTrainedModel | None = None, generator: transformers.modeling_utils.PreTrainedModel | None = None, retriever: transformers.models.rag.retrieval_rag.RagRetriever | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L1102)

**パラメータ:**

config ([PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig)、*任意*) : モデルのパラメータをすべて含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

question_encoder (`PreTrainedModel`, *任意*) : 検索のために質問を隠れ状態にエンコードするモデルです。

generator (`PreTrainedModel`, *任意*) : 検索されたドキュメントに基づいてテキストを生成するモデルです。

retriever (`RagRetriever`, *任意*) : エンコードされた質問に基づいてナレッジベースからドキュメントを検索するコンポーネントです。

RAGトークンモデルの実装です。フォワードパスにおいて、RAGトークン固有のマージナライゼーションを実行します。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.RagTokenForGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.FloatTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.BoolTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, output_retrieved: bool | None = None, do_marginalize: bool | None = None, reduce_loss: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, n_docs: int | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L1227)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`) : 語彙における入力シーケンスのトークンインデックス。[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig) はモデルの初期化に使用され、使用するジェネレーターを指定するとともに、互換性のあるジェネレーター用トークナイザーも指定します。そのトークナイザークラスを使用してインデックスを取得してください。[入力IDとは何ですか？](../glossary#input-ids)

attention_mask (`torch.FloatTensor`、形状 `(batch_size, sequence_length)`、*任意*) : パディングトークンのインデックスに対してアテンションを実行しないためのマスク。`[0, 1]` から選択されるマスクの値:  - **マスクされない**トークンは 1、**マスクされる**トークンは 0。  [アテンションマスクとは?](../glossary#attention-mask)

encoder_outputs `tuple(tuple(torch.FloatTensor)`、*optional*) : (`generator_enc_last_hidden_state`、*optional*: `generator_enc_hidden_states`、*optional*: `generator_enc_attentions`) のタプル。`generator_enc_last_hidden_state` は、形状が `(batch_size, n_docs * sequence_length, hidden_size)` で、ジェネレーターのエンコーダーの最終層の出力における隠れ状態のシーケンスです。[RagModel](/docs/transformers/main/ja/model_doc/rag#transformers.RagModel) モデルがデコーディング中に使用します。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*optional*) : 生成タスク用に提供します。デフォルトでは`None`です。RAGインスタンスで使用しているジェネレーターモデルの指示に従って構築してください。

decoder_input_ids (`torch.LongTensor`、shape `(batch_size, target_sequence_length)`、*任意*) : 語彙におけるデコーダー入力シーケンスのトークンインデックス。[AutoTokenizer](/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer) を使用してインデックスを取得できます。詳細は [PreTrainedTokenizer.encode()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) および [PreTrainedTokenizer.__call__()](/docs/transformers/main/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) を参照してください。[デコーダー入力 ID とは？](../glossary#decoder-input-ids)

decoder_attention_mask (`torch.BoolTensor`、形状 `(batch_size,  target_sequence_length)`、*任意*) : デフォルトの動作: `decoder_input_ids`内のpadトークンを無視するテンソルを生成します。デフォルトでは、カウザルマスクも使用されます。

past_key_values (`~cache_utils.Cache`, *任意*) : 逐次デコードを高速化するために使用できる、事前計算された hidden-states（self-attention ブロックおよび cross-attention ブロック内の key と value）です。通常、`use_cache=True` または `config.use_cache=True` の場合、モデルがデコードの以前の段階で返した `past_key_values` で構成されます。入力として許可されるのは [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) インスタンスのみです。[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。`past_key_values` が渡されない場合、デフォルトで [DynamicCache](/docs/transformers/main/ja/internal/generation_utils#transformers.DynamicCache) が初期化されます。モデルは、入力として与えられたのと同じキャッシュ形式を出力します。`past_key_values` を使用する場合は、すべての `input_ids`（形状 `(batch_size, sequence_length)`）の代わりに、このモデルに過去の key value 状態が与えられていない未処理の `input_ids`（形状 `(batch_size, unprocessed_length)`）のみを入力する必要があります。

context_input_ids (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと、クエリエンコーダーの `input_ids` を、retriever によって後処理した入力 ID です。モデルが `retriever` を用いて初期化されていない場合、フォワードパスには ``context_input_ids`` を提供する必要があります。`context_input_ids` は `__call__()` によって返されます。

context_attention_mask (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと質問エンコーダーの `input_ids` から、retriever によって後処理されたアテンションマスクです。モデルが `retriever` で初期化されていない場合、forward pass に `context_attention_mask` を提供する必要があります。`context_attention_mask` は `__call__()` によって返されます。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。モデルが`retriever`で初期化されていない場合、フォワードパスに`doc_scores`を指定する必要があります。`doc_scores`は`question_encoder_last_hidden_state`と`retrieved_doc_embeds`から計算できます。詳細は例を参照してください。

use_cache (`bool`, *任意*) : `True`に設定すると、`past_key_values`のキーバリュー状態が返され、デコーディングの高速化に利用できます（`past_key_values`を参照）。

output_attentions (`bool`, *任意*) : すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルの `attentions` を参照してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

output_retrieved (`bool`, *任意*) : `retrieved_doc_embeds`、`retrieved_doc_ids`、`context_input_ids`、`context_attention_mask`を返すかどうかを指定します。詳細は返されるテンソルを参照してください。

do_marginalize (`bool`, *任意*) : `True`の場合、`torch.nn.functional.log_softmax`を使用して、すべてのドキュメントにわたってlogitsをマージナライズします。

reduce_loss (`bool`, *任意*) : `labels` が渡された場合にのみ関連します。`True` の場合、NLL ロスは `torch.Tensor.sum` 操作を使用して集約されます。

labels (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : マスク言語モデリング損失を計算するためのラベル。インデックスは `[0, ..., config.vocab_size]` の範囲内であるか、-100 である必要があります（`input_ids` のドキュメント文字列を参照）。インデックスが `-100` に設定されたトークンは無視（マスク）され、損失は `[0, ..., config.vocab_size]` の範囲内のラベルを持つトークンに対してのみ計算されます。

n_docs (`int`, *任意*) : 取得するドキュメントの数。

**戻り値:** [RetrievAugLMMarginOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput) または `tuple(torch.FloatTensor)`

`torch.FloatTensor` のタプル（`return_dict=False` が渡された場合、または `config.return_dict=False` の場合）または [RetrievAugLMMarginOutput](/docs/transformers/main/ja/model_doc/rag#transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput)。設定（[RagConfig](/docs/transformers/main/ja/model_doc/rag#transformers.RagConfig)）と入力に応じて、さまざまな要素で構成されます。

[RagTokenForGeneration](/docs/transformers/main/ja/model_doc/rag#transformers.RagTokenForGeneration)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`torch.FloatTensor`、shape `(1,)`、*optional*、`labels` が指定された場合に返されます) -- 言語モデリングの損失。
- **logits** (`torch.FloatTensor`、shape `(batch_size, sequence_length, config.vocab_size)`) -- 言語モデリングヘッドの予測スコア。各語彙トークンについて、スコアはすべての文書にわたってマージナライズされている可能性があります。
- **doc_scores** (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) -- 各検索されたドキュメントの埋め込み（`retrieved_doc_embeds` を参照）と `question_encoder_last_hidden_state` の間のスコア。
- **past_key_values** (`Cache`、*任意*、`use_cache=True` が渡された場合または `config.use_cache=True` の場合に返されます) -- [Cache](/docs/transformers/main/ja/internal/generation_utils#transformers.Cache) のインスタンスです。詳細については、[kv cache ガイド](https://huggingface.co/docs/transformers/en/kv_cache)を参照してください。

  シーケンシャルなデコーディングを高速化するために使用できる（`past_key_values` 入力参照）、デコーダーの事前計算済みヒドゥンステート（アテンションブロック内のキーとバリュー）が含まれます。
- **retrieved_doc_embeds** (`torch.FloatTensor`、shape `(batch_size, config.n_docs, hidden_size)`、*optional*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって取得された埋め込みドキュメント。`question_encoder_last_hidden_state` と組み合わせて `doc_scores` を計算するために使用されます。
- **retrieved_doc_ids** (`torch.LongTensor`、shape `(batch_size, config.n_docs)`、*optional*、*output_retrieved=True* の場合のみ返されます) -- リトリーバーによって取得された埋め込みドキュメントのインデックスです。
- **context_input_ids** (`torch.LongTensor`、形状 `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの input_ids から後処理された入力 ID。
- **context_attention_mask** (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*任意*、*output_retrieved=True* の場合に返されます) -- リトリーバーによって、検索されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスク。
- **question_encoder_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのクエリエンコーダーの最終層の出力における、プーリングされた出力の隠れ状態のシーケンス。
- **question_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込みの出力と各層の出力それぞれに対応するもの）で、形状は `(batch_size, sequence_length, hidden_size)` です。

  クエリエンコーダーの各層の出力および初期埋め込み出力における隠れ状態。
- **question_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クエリエンコーダーのアテンション重み。アテンションのsoftmax適用後、自己アテンションヘッドにおける加重平均の計算に使用されます。
- **generator_enc_last_hidden_state** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, hidden_size)`、*任意*) -- モデルのジェネレーターエンコーダーの最終層の出力における隠れ状態のシーケンス。
- **generator_enc_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのエンコーダーの各層の出力における隠れ状態、および初期埋め込みの出力。
- **generator_enc_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  Attentions weights of the generator encoder, after the attention softmax, used to compute the weighted average in the self-attention heads.
- **generator_dec_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True`が渡された場合または`config.output_hidden_states=True`の場合に返されます) -- `torch.FloatTensor`のタプル(埋め込みの出力と各層の出力それぞれ1つずつ)で、形状は`(batch_size, sequence_length, hidden_size)`です。

  ジェネレーターのデコーダーにおける各層の出力の隠れ状態、および初期埋め込みの出力。
- **generator_dec_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  自己アテンションヘッドにおける加重平均を計算するために使用される、ジェネレーターのデコーダーのアテンション重み（アテンションのsoftmax適用後）。
- **generator_cross_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。

  クロスアテンションのsoftmax適用後、ジェネレーターのデコーダーにおけるクロスアテンションヘッド内で加重平均を計算するために使用される重み。

例:

```python
>>> from transformers import AutoTokenizer, RagRetriever, RagTokenForGeneration
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/rag-token-nq")
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/rag-token-nq", index_name="exact", use_dummy_dataset=True
... )
>>> # initialize with RagRetriever to do everything in one forward call
>>> model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq", retriever=retriever)

>>> inputs = tokenizer("How many people live in Paris?", return_tensors="pt")
>>> targets = tokenizer(text_target="In Paris, there are 10 million people.", return_tensors="pt")
>>> input_ids = inputs["input_ids"]
>>> labels = targets["input_ids"]
>>> outputs = model(input_ids=input_ids, labels=labels)

>>> # or use retriever separately
>>> model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq", use_dummy_dataset=True)
>>> # 1. Encode
>>> question_hidden_states = model.question_encoder(input_ids)[0]
>>> # 2. Retrieve
>>> docs_dict = retriever(input_ids.numpy(), question_hidden_states.detach().numpy(), return_tensors="pt")
>>> doc_scores = torch.bmm(
...     question_hidden_states.unsqueeze(1), docs_dict["retrieved_doc_embeds"].float().transpose(1, 2)
... ).squeeze(1)
>>> # 3. Forward to generator
>>> outputs = model(
...     context_input_ids=docs_dict["context_input_ids"],
...     context_attention_mask=docs_dict["context_attention_mask"],
...     doc_scores=doc_scores,
...     decoder_input_ids=labels,
... )

>>> # or directly generate
>>> generated = model.generate(
...     context_input_ids=docs_dict["context_input_ids"],
...     context_attention_mask=docs_dict["context_attention_mask"],
...     doc_scores=doc_scores,
... )
>>> generated_string = tokenizer.batch_decode(generated, skip_special_tokens=True)
```

#### generate[[transformers.RagTokenForGeneration.generate]]

```python
generate(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, context_input_ids: typing.Optional[torch.LongTensor] = None, context_attention_mask: typing.Optional[torch.LongTensor] = None, doc_scores: typing.Optional[torch.FloatTensor] = None, n_docs: int | None = None, generation_config: transformers.generation.configuration_utils.GenerationConfig | None = None, prefix_allowed_tokens_fn: collections.abc.Callable[[int, torch.Tensor], list[int]] | None = None, logits_processor: transformers.generation.logits_process.LogitsProcessorList | None = [], stopping_criteria: transformers.generation.stopping_criteria.StoppingCriteriaList | None = [], **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py#L1400)

**パラメータ:**

input_ids (`torch.LongTensor`、形状 `(batch_size, sequence_length)`、*任意*) : 生成のプロンプトとして使用されるシーケンス。`input_ids` が渡されない場合、`context_input_ids` を提供する必要があります。

attention_mask (`torch.Tensor`、shape `(batch_size, sequence_length)`、*任意*) : padding トークンのインデックスに対する attention を回避するためのマスクです。マスクの値は `[0, 1]` から選択されます:  - **マスクされない**トークンは 1、- **マスクされる**トークンは 0。  [attention マスクとは?](../glossary#attention-mask)

context_input_ids (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : 検索されたドキュメントと、クエリエンコーダーの `input_ids` を、retriever によって後処理した入力 ID です。モデルが `retriever` を用いて初期化されていない場合、フォワードパスに `context_input_ids` を提供する必要があります。`context_input_ids` は `__call__()` によって返されます。

context_attention_mask (`torch.LongTensor`、shape `(batch_size * config.n_docs, config.max_combined_length)`、*optional*、*output_retrieved=True* の場合に返されます) : retriever によって、検索されたドキュメントと質問エンコーダーの `input_ids` から後処理されたアテンションマスクです。モデルが `retriever` を用いて初期化されていない場合、フォワードパスに `context_input_ids` を提供する必要があります。`context_input_ids` は `__call__()` によって返されます。

doc_scores (`torch.FloatTensor`、shape `(batch_size, config.n_docs)`) : 各検索ドキュメントの埋め込み（`retrieved_doc_embeds`を参照）と`question_encoder_last_hidden_state`の間のスコア。モデルが`retriever`で初期化されていない場合、forward pass に`context_input_ids`を指定する必要があります。`context_input_ids`は`__call__()`によって返されます。

n_docs (`int`、*任意*、デフォルトは`config.n_docs`) : 取得するドキュメントの数、および/または回答を生成する対象のドキュメントの数。

generation_config (`~generation.GenerationConfig`, *optional*) : 生成呼び出しのベースパラメータ化として使用される生成設定。`generation_config` の属性と一致する `**kwargs` が generate に渡された場合、それらは上書きされます。`generation_config` が指定されない場合、デフォルトが使用されます。その読み込み優先順位は以下の通りです: 1) `generation_config.json` モデルファイルが存在する場合、そこから読み込む; 2) モデル設定から読み込む。未指定のパラメータは [GenerationConfig](/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationConfig) のデフォルト値を継承することに注意してください。生成をパラメータ化するには、そのドキュメントを確認する必要があります。

prefix_allowed_tokens_fn (`Callable[[int, torch.Tensor], list[int]]`, *任意*) : 指定された場合、この関数はビームサーチを各ステップで許可されたトークンのみに制限します。指定されない場合、制約は適用されません。この関数は2つの引数 `inputs_ids` とバッチID `batch_id` を受け取ります。以前に生成されたトークン `inputs_ids` とバッチID `batch_id` に条件付けられた次の生成ステップで許可されるトークンのリストを返す必要があります。この引数は、[Autoregressive Entity Retrieval](https://huggingface.co/papers/2010.00904) で説明されているように、プレフィックスに条件付けられた制約付き生成に有用です。

logits_processor (`LogitsProcessorList`, *任意*) : 引数とモデルの config から構築されるデフォルトの logits processors を補完する、カスタムの logits processors です。引数やモデルの config で既に作成された logit processor が渡された場合、エラーが発生します。

stopping_criteria (`StoppingCriteriaList`, *任意*) : 引数とモデルの config から構築されるデフォルトの停止条件を補完する、カスタムの停止条件です。引数やモデルの config で既に作成済みの停止条件が渡された場合、エラーが発生します。

kwargs (`dict[str, Any]`、*任意*) : `generate_config` のアドホックなパラメータ化、および/またはモデルの `forward` 関数に転送される追加のモデル固有の kwargs。

**戻り値:** `torch.LongTensor`、形状は `(batch_size * num_return_sequences, sequence_length)`

生成されたシーケンス。2 次元目（sequence_length）は、`eos_token_id` によりすべてのバッチが早期に終了した場合を除き、`max_length` と等しくなります。

RAGトークンデコーディングを実装します。