RTDetrV2Modelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

• last_hidden_state (torch.FloatTensor、shape (batch_size, num_queries, hidden_size)) — モデルのデコーダーの最終層の出力における、隠れ状態のシーケンス。

• intermediate_hidden_states (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, hidden_size)) — 中間隠れ状態のスタック（デコーダーの各層の出力）。

• intermediate_logits (torch.FloatTensor、shape (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 積み重ねられた中間 logits（デコーダーの各層の logits）。

• intermediate_reference_points (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, 4)) — 積み重ねられた中間参照点（デコーダーの各層の参照点）。

• intermediate_predicted_corners (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, 4)) — 積み重ねられた中間予測コーナー（デコーダーの各層の予測コーナー）。

• initial_reference_points (torch.FloatTensor、shape (batch_size, num_queries, 4)) — 最初のデコーダ層で使用する初期参照点。

• decoder_hidden_states (tuple[torch.FloatTensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.FloatTensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

  各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

• decoder_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます)— torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

• cross_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

• encoder_last_hidden_state (torch.FloatTensor、shape (batch_size, sequence_length, hidden_size)、optional) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンス。

• encoder_hidden_states (tuple[torch.FloatTensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.FloatTensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

  各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

• encoder_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

• init_reference_points (torch.FloatTensor、shape (batch_size, num_queries, 4)) — Transformer デコーダーに渡される初期の参照点。

• enc_topk_logits (torch.FloatTensor、shape (batch_size, sequence_length, config.num_labels)) — エンコーダ段階で、スコアが上位の config.two_stage_num_proposals 個のバウンディングボックスがリージョンプロポーザルとして選択される、予測されたバウンディングボックスのスコアです。バウンディングボックスの二値分類（すなわち、フォアグラウンドとバックグラウンド）の出力です。

• enc_topk_bboxes（torch.FloatTensor、形状 (batch_size, sequence_length, 4)）— エンコーダ段階で予測されるバウンディングボックス座標の logits。

• enc_outputs_class (torch.FloatTensor、形状 (batch_size, sequence_length, config.num_labels)、任意、config.with_box_refine=True かつ config.two_stage=True の場合に返されます) — 予測されたバウンディングボックスのスコアです。第1段階では、スコアが上位の config.two_stage_num_proposals 個のバウンディングボックスがリージョンプロポーザルとして選択されます。バウンディングボックスの二値分類（すなわち、フォアグラウンドとバックグラウンド）の出力です。

• enc_outputs_coord_logits (torch.FloatTensor、shape (batch_size, sequence_length, 4)、optional、config.with_box_refine=True かつ config.two_stage=True の場合に返されます) — 第1段階で予測されるバウンディングボックス座標の logits。

• denoising_meta_values (dict、任意) — デノイジング関連の値を格納する追加の辞書。

>>> from transformers import AutoImageProcessor, RTDetrV2Model
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2Model.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

RTDetrV2ForObjectDetectionのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

• loss (torch.FloatTensor、shape (1,)、optional、labels が提供された場合に返されます) — クラス予測の負の対数尤度（クロスエントロピー）とバウンディングボックス損失の線形結合による総損失です。後者は、L1損失と汎用スケール不変IoU損失の線形結合として定義されます。

• loss_dict (Dict, 任意) — 個別の損失を含む辞書です。ログ出力に便利です。

• logits (torch.FloatTensor、shape (batch_size, num_queries, num_classes + 1)) — すべてのクエリに対する分類 logits（no-object を含む）。

• pred_boxes (torch.FloatTensor、shape (batch_size, num_queries, 4)) — すべてのクエリに対する正規化されたボックス座標です。(center_x, center_y, width, height) で表されます。これらの値は、バッチ内の各画像のサイズに対して [0, 1] の範囲で正規化されています（パディングは考慮されません）。~RTDetrV2ImageProcessor.post_process_object_detection を使用すると、正規化されていない（絶対座標の）バウンディングボックスを取得できます。

• auxiliary_outputs (list[Dict]、optional) — オプション。補助損失が有効化されている場合（つまり config.auxiliary_loss が True に設定されている場合）かつラベルが提供されている場合にのみ返されます。各デコーダ層について、上記の2つのキー（logits と pred_boxes）を含む辞書のリストです。

• last_hidden_state (torch.FloatTensor、shape (batch_size, num_queries, hidden_size)) — モデルのデコーダーの最終層の出力における、隠れ状態のシーケンス。

• intermediate_hidden_states (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, hidden_size)) — 中間隠れ状態のスタック（デコーダーの各層の出力）。

• intermediate_logits (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 中間層の logits を積み重ねたもの（デコーダーの各層の logits）。

• intermediate_reference_points (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, 4)) — 積み重ねられた中間参照点（デコーダーの各層の参照点）。

• intermediate_predicted_corners (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, 4)) — 積み重ねられた中間予測コーナー（デコーダーの各層の予測コーナー）。

• initial_reference_points (torch.FloatTensor、shape (batch_size, config.decoder_layers, num_queries, 4)) — 積み重ねられた初期参照点（デコーダーの各層の初期参照点）。

• decoder_hidden_states (tuple[torch.FloatTensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.FloatTensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

  各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

• decoder_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます)— torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

• cross_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

• encoder_last_hidden_state (torch.FloatTensor、shape (batch_size, sequence_length, hidden_size)、optional) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンス。

• encoder_hidden_states (tuple[torch.FloatTensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.FloatTensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

  各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

• encoder_attentions (tuple[torch.FloatTensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.FloatTensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

  アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

• init_reference_points (torch.FloatTensor、shape (batch_size, num_queries, 4)) — Transformer デコーダーに渡される初期の参照点。

• enc_topk_logits (torch.FloatTensor、shape (batch_size, sequence_length, config.num_labels)、任意、config.with_box_refine=True かつ config.two_stage=True の場合に返されます) — エンコーダーにおける予測バウンディングボックス座標の logits。

• enc_topk_bboxes（torch.FloatTensor、shape (batch_size, sequence_length, 4)、optional、config.with_box_refine=True かつ config.two_stage=True の場合に返されます）— エンコーダにおける予測バウンディングボックス座標の logits。

• enc_outputs_class (torch.FloatTensor、形状 (batch_size, sequence_length, config.num_labels)、任意、config.with_box_refine=True かつ config.two_stage=True の場合に返されます) — 予測されたバウンディングボックスのスコアです。第1段階では、スコアが上位の config.two_stage_num_proposals 個のバウンディングボックスがリージョンプロポーザルとして選択されます。バウンディングボックスの二値分類（すなわち、フォアグラウンドとバックグラウンド）の出力です。

• enc_outputs_coord_logits (torch.FloatTensor、shape (batch_size, sequence_length, 4)、optional、config.with_box_refine=True かつ config.two_stage=True の場合に返されます) — 第1段階で予測されるバウンディングボックス座標の logits。

• denoising_meta_values (dict, 任意) — デノイジング関連の値を格納するための追加の辞書

>>> from transformers import RTDetrV2ImageProcessor, RTDetrV2ForObjectDetection
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = RTDetrV2ImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]