# PP-DocLayoutV4 ## 概要 **PP-DocLayoutV4**は、エンドツーエンドのドキュメントレイアウト解析モデルです。このモデルは、単一のフォワードパスで、各レイアウト要素の種類、それを囲む四角形、および読み取り順序がデコードされるロジットを予測します。 ## モデルアーキテクチャ PP-DocLayoutV4は、前身モデルのRT-DETRの骨格、すなわちHGNetV2バックボーン、AIFIハイブリッドエンコーダー、およびdeformableデコーダーを維持したまま、3つの点を変更しています。 - **マスクではなく四角形。** [PPDocLayoutV3ForObjectDetection](/docs/transformers/main/ja/model_doc/pp_doclayout_v3#transformers.PPDocLayoutV3ForObjectDetection) はクエリごとにセグメンテーションマスクを予測し、それにポリゴンをフィッティングしていました。PP-DocLayoutV4 ではマスクブランチを完全に廃止し、`[center_x, center_y, dx1, dy1, ..., dx4, dy4]` としてシグモイド空間でエンコードされた4点の四角形を直接回帰します。これにより、マスクヘッドのコストを支払うことなく、傾斜や透視変形のある文書に対応でき、stride 4 のバックボーン特徴も不要になります。 - **レイヤーごとに独立したヘッド。** エンコーダーと単一のヘッドを共有するのではなく、各デコーダーレイヤーが独自のボックスヘッドと分類ヘッドを保有します。 - **読み取り順序ヘッド2つと融合ステップ。** V3の相対順序ヘッド（非対称:「`i`は`j`より先に読み取られるか?」）に加えて、後続ヘッド（ROOR:「`j`は`i`の直後に続くか?」）があります。`PPDocLayoutV4S2RFusion`は、減衰させた後続行列の推移閉包を相対順序のlogitsに反映させます。 読み取り順序はモデル内でデコードされません。`PPDocLayoutV4ForObjectDetection`は生の`relative_order_logits`と`successor_order_logits`を返し、[post_process_object_detection()](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4ImageProcessor.post_process_object_detection)が後継行列を有向非巡回グラフ（DAG）に閾値処理してサイクルを解消し、各連結成分をトポロジカルにソートし、相対順序の投票によって成分を並べ替えることで、それらをランクに変換します。 ## 使用方法 [post_process_object_detection()](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4ImageProcessor.post_process_object_detection) が返す結果は、すでに読み取り順にソートされています。各結果には `polygon_points` が含まれており、これは左上、右上、右下、左下の順に並べられた回帰された角の `(num_boxes, 4, 2)` テンソルです。さらに、各四角形を囲む軸平行長方形である `boxes` と、各ボックスの 0 始まりの順位である `order_seq` も含まれます。以下の [AutoModel](/docs/transformers/main/ja/model_doc/auto#transformers.AutoModel) の例では `order_seq` を直接出力しますが、その他の例ではソート済みリスト内の 1 始まりの位置を出力します。これは、1 つのクエリが複数のラベルで保持されない限り、`order_seq + 1` となります。 [Pipeline](/docs/transformers/main/ja/main_classes/pipelines#transformers.Pipeline)は、返されるリストの順序で読み取り順序を保持しますが、各検出結果をスコア、ラベル、整数のバウンディングボックスにフラット化します。四角形と`order_seq`を取得するには、以下の[AutoModel](/docs/transformers/main/ja/model_doc/auto#transformers.AutoModel)パスを使用してください。 ```python from transformers import pipeline from transformers.image_utils import load_image image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg") layout_detector = pipeline("object-detection", model="PaddlePaddle/PP-DocLayoutV4_safetensors") results = layout_detector(image) for idx, res in enumerate(results): print(f"Order {idx + 1}: {res}") ``` ```python from transformers import AutoImageProcessor, AutoModelForObjectDetection from transformers.image_utils import load_image model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors" model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto") image_processor = AutoImageProcessor.from_pretrained(model_path) image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg") inputs = image_processor(images=image, return_tensors="pt").to(device=model.device, dtype=model.dtype) outputs = model(**inputs) results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]]) for result in results: for score, label_id, box, quad, rank in zip( result["scores"], result["labels"], result["boxes"], result["polygon_points"], result["order_seq"] ): box = [round(i, 2) for i in box.tolist()] print(f"Order {rank.item()}: {model.config.id2label[label_id.item()]}, score: {score.item():.2f}, box: {box}") print(f" corners: {[[round(x, 2) for x in point] for point in quad.tolist()]}") ``` ### バッチ推論 画像のリストと、各画像ごとの1つのターゲットサイズを渡します。読み取り順序は画像ごとにデコードされます。 ```python from transformers import AutoImageProcessor, AutoModelForObjectDetection from transformers.image_utils import load_image model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors" model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto") image_processor = AutoImageProcessor.from_pretrained(model_path) image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg") inputs = image_processor(images=[image, image], return_tensors="pt").to(device=model.device, dtype=model.dtype) outputs = model(**inputs) results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]] * 2) for result in results: print("result:") for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])): box = [round(i, 2) for i in box.tolist()] print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}, score: {score.item():.2f}, box: {box}") ``` ## PPDocLayoutV4ForObjectDetection[[transformers.PPDocLayoutV4ForObjectDetection]] #### transformers.PPDocLayoutV4ForObjectDetection[[transformers.PPDocLayoutV4ForObjectDetection]] ```python transformers.PPDocLayoutV4ForObjectDetection(config: PPDocLayoutV4Config) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/modeling_pp_doclayout_v4.py#L1650) **パラメータ:** config ([PPDocLayoutV4Config](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。 PP-DocLayoutV4モデル（バックボーンとエンコーダーデコーダーで構成）は、文書レイアウト解析などのタスク向けに、四角形、クラスロジット、読み取り順序ロジットを出力します。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.PPDocLayoutV4ForObjectDetection.forward]] ```python forward(pixel_values: FloatTensor, pixel_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: typing.Optional[torch.FloatTensor] = None, labels: list[dict] | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/modeling_pp_doclayout_v4.py#L1668) **パラメータ:** pixel_values (`torch.FloatTensor`、shape `(batch_size, num_channels, image_size, image_size)`) : 入力画像に対応するテンソルです。ピクセル値は `image_processor_class` を使用して取得できます。詳細は `image_processor_class.__call__` を参照してください（`processor_class` は画像の処理に `image_processor_class` を使用します）。 pixel_mask (`torch.LongTensor`、形状 `(batch_size, height, width)`、*任意*) : パディングピクセル値に対するアテンションの実行を回避するためのマスク。`[0, 1]` から選択されるマスク値: - 実在するピクセル（つまり **マスクされていない**）は 1、 - パディングのピクセル（つまり **マスクされている**）は 0。 [アテンションマスクとは何ですか？](../glossary#attention-mask) encoder_outputs (`torch.FloatTensor`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプル。`last_hidden_state` の形状は `(batch_size, sequence_length, hidden_size)`、*任意*) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。 labels (`list[Dict]` の長さ `(batch_size,)`、*任意*) : 非対応: PP-DocLayoutV4 は Transformers では推論のみです。 **戻り値:** `PPDocLayoutV4ForObjectDetectionOutput` または `tuple(torch.FloatTensor)` `None` や入力に応じて、さまざまな要素で構成される`PPDocLayoutV4ForObjectDetectionOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。 [PPDocLayoutV4ForObjectDetection](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4ForObjectDetection)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **logits** (`torch.FloatTensor`、形状 `(batch_size, num_queries, config.num_labels)`) -- すべてのクエリに対する分類 logits（no-object を除く）。 - **pred_boxes** (`torch.FloatTensor`、shape `(batch_size, num_queries, config.num_coords)`) -- 全クエリに対する正規化された四角形。コーナーのオフセットが`+0.5`だけシフトされた状態で、`[center_x, center_y, dx1, dy1, ..., dx4, dy4]`としてエンコードされています。正規化されていないコーナーとその外接ボックスを取得するには、[post_process_object_detection()](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4ImageProcessor.post_process_object_detection)を使用してください。 - **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, num_queries, hidden_size)`) -- モデルのデコーダーの最終層の出力における、隠れ状態のシーケンス。 - **intermediate_hidden_states** (`torch.FloatTensor`、shape `(batch_size, config.decoder_layers, num_queries, hidden_size)`) -- 中間の隠れ状態のスタック（デコーダーの各層の出力）。 - **intermediate_reference_points** (`torch.FloatTensor`、形状 `(batch_size, config.decoder_layers, num_queries, config.num_coords)`) -- 中間参照点のスタック（デコーダーの各層で精細化されたクアッド）。 - **decoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。 - **decoder_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。 - **cross_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。 - **encoder_last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, sequence_length, hidden_size)`、*optional*) -- モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンス。 - **encoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（モデルに埋め込み層がある場合は埋め込みの出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。 - **encoder_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。 - **init_reference_points** (`torch.FloatTensor`、形状 `(batch_size, num_queries, config.num_coords)`) -- Transformer デコーダーに渡される初期の四角形参照点。 - **enc_topk_logits** (`torch.FloatTensor`、shape `(batch_size, num_queries, config.num_labels)`) -- デコーダーのクエリとして選択されたエンコーダーの提案のクラス logits。 - **enc_topk_bboxes** (`torch.FloatTensor`、shape `(batch_size, num_queries, config.num_coords)`) -- デコーダーのクエリとして選択されたエンコーダーの提案の四角形。 - **enc_outputs_class** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.num_labels)`) -- エンコーダーの各提案のクラス logits です。 - **enc_outputs_coord_logits** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.num_coords)`) -- エンコーダーの各提案のクアドロ logits。 - **denoising_meta_values** (`dict`, *任意*) -- デノイジング関連の値を格納する追加の辞書。 - **relative_order_logits** (`torch.FloatTensor`、shape `(batch_size, config.num_queries, config.num_queries)`) -- 任意の S2R 融合後の、ペアワイズな相対的な読み取り順序の logits。`relative_order_logits[i, j]` が正の値である場合、クエリ `i` がクエリ `j` より先に読み取られることを意味します。 - **successor_order_logits** (`torch.FloatTensor`、shape `(batch_size, config.num_queries, config.num_queries)`) -- 対直接後継 (ROOR) の logits。`successor_order_logits[i, j]` が正の値である場合、クエリ `j` がクエリ `i` に直接続いていることを意味します。 例: ```python >>> from transformers import AutoImageProcessor, AutoModelForObjectDetection >>> from PIL import Image >>> import httpx >>> from io import BytesIO >>> url = "https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg" >>> with httpx.stream("GET", url) as response: ... image = Image.open(BytesIO(response.read())) >>> model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors" >>> image_processor = AutoImageProcessor.from_pretrained(model_path) >>> model = AutoModelForObjectDetection.from_pretrained(model_path) >>> inputs = image_processor(images=[image], return_tensors="pt") >>> outputs = model(**inputs) >>> # results are already sorted by reading order >>> results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]]) >>> for result in results: ... for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])): ... box = [round(i, 2) for i in box.tolist()] ... print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}: {score.item():.2f} {box}") Order 1: text: 0.99 [336.07, 182.04, 894.17, 652.62] Order 2: paragraph_title: 0.98 [336.45, 681.88, 868.78, 796.91] Order 3: text: 0.99 [334.01, 840.84, 889.11, 1452.29] Order 4: text: 0.99 [920.65, 183.62, 1476.75, 462.75] Order 5: text: 0.99 [919.55, 482.55, 1479.85, 763.41] Order 6: text: 0.98 [919.34, 844.48, 1481.28, 1219.44] Order 7: text: 0.98 [920.84, 1238.61, 1467.66, 1374.54] Order 8: text: 0.90 [334.24, 1612.85, 1478.79, 1730.92] Order 9: text: 0.95 [334.25, 1755.98, 1467.34, 1845.6] Order 10: text: 0.65 [337.14, 1909.47, 659.78, 1938.2] Order 11: footnote: 0.78 [338.73, 2114.87, 1448.16, 2172.06] Order 12: number: 0.98 [106.08, 2257.42, 134.76, 2281.3] Order 13: footer: 0.93 [339.27, 2255.7, 984.16, 2282.81] ``` ## PPDocLayoutV4Model[[transformers.PPDocLayoutV4Model]] #### transformers.PPDocLayoutV4Model[[transformers.PPDocLayoutV4Model]] ```python transformers.PPDocLayoutV4Model(config: PPDocLayoutV4Config) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/modeling_pp_doclayout_v4.py#L1328) **パラメータ:** config ([PPDocLayoutV4Config](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4Config)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを参照してください。 PP-DocLayoutV4 モデル（バックボーンとエンコーダー・デコーダーで構成）は、上部にヘッドを備えずに生の隠れ状態を出力します。 このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。 このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。 #### forward[[transformers.PPDocLayoutV4Model.forward]] ```python forward(pixel_values: FloatTensor, pixel_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: typing.Optional[torch.FloatTensor] = None, labels: list[dict] | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/modeling_pp_doclayout_v4.py#L1466) **パラメータ:** pixel_values (`torch.FloatTensor`、shape `(batch_size, num_channels, image_size, image_size)`) : 入力画像に対応するテンソルです。ピクセル値は `image_processor_class` を使用して取得できます。詳細は `image_processor_class.__call__` を参照してください（`processor_class` は画像の処理に `image_processor_class` を使用します）。 pixel_mask (`torch.LongTensor`、形状 `(batch_size, height, width)`、*任意*) : パディングピクセル値に対するアテンションの実行を回避するためのマスク。`[0, 1]` から選択されるマスク値: - 実在するピクセル（つまり **マスクされていない**）は 1、 - パディングのピクセル（つまり **マスクされている**）は 0。 [アテンションマスクとは何ですか？](../glossary#attention-mask) encoder_outputs (`torch.FloatTensor`, *任意*) : (`last_hidden_state`, *任意*: `hidden_states`, *任意*: `attentions`) のタプル。`last_hidden_state` の形状は `(batch_size, sequence_length, hidden_size)`、*任意*) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。 labels (`list[Dict]` の長さ `(batch_size,)`、*任意*) : 非対応: PP-DocLayoutV4 は Transformers では推論のみです。 **戻り値:** `PPDocLayoutV4ModelOutput` または `tuple(torch.FloatTensor)` `None` や入力に応じて、さまざまな要素で構成される`PPDocLayoutV4ModelOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。 [PPDocLayoutV4Model](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4Model)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。 この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。 - **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, num_queries, hidden_size)`) -- モデルのデコーダーの最終層の出力における、隠れ状態のシーケンス。 - **intermediate_hidden_states** (`torch.FloatTensor`、shape `(batch_size, config.decoder_layers, num_queries, hidden_size)`) -- 中間の隠れ状態のスタック（デコーダーの各層の出力）。 - **intermediate_reference_points** (`torch.FloatTensor`、形状 `(batch_size, config.decoder_layers, num_queries, config.num_coords)`) -- 中間参照点のスタック（デコーダーの各層で精細化されたクアッド）。 - **decoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（埋め込み層を持つモデルの場合、埋め込みの出力用 1 つ + 各層の出力用 1 つ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。 - **decoder_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。 - **cross_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。 - **encoder_last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, sequence_length, hidden_size)`、*optional*) -- モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンス。 - **encoder_hidden_states** (`tuple[torch.FloatTensor]`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（モデルに埋め込み層がある場合は埋め込みの出力用 1 つ、各層の出力用 1 つずつ）で、形状は `(batch_size, sequence_length, hidden_size)` です。 各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。 - **encoder_attentions** (`tuple[torch.FloatTensor]`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- `torch.FloatTensor` のタプル（各レイヤーごとに1つ）、形状は `(batch_size, num_heads, sequence_length, sequence_length)`。 アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。 - **init_reference_points** (`torch.FloatTensor`、形状 `(batch_size, num_queries, config.num_coords)`) -- Transformer デコーダーに渡される初期の四角形参照点。 - **enc_topk_logits** (`torch.FloatTensor`、shape `(batch_size, num_queries, config.num_labels)`) -- デコーダーのクエリとして選択されたエンコーダーの提案のクラス logits。 - **enc_topk_bboxes** (`torch.FloatTensor`、shape `(batch_size, num_queries, config.num_coords)`) -- デコーダーのクエリとして選択されたエンコーダーの提案の四角形。 - **enc_outputs_class** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.num_labels)`) -- エンコーダーの各提案のクラス logits です。 - **enc_outputs_coord_logits** (`torch.FloatTensor`、形状 `(batch_size, sequence_length, config.num_coords)`) -- エンコーダーの各提案のクアドロ logits。 - **denoising_meta_values** (`dict`, *任意*) -- デノイジング関連の値を格納する追加の辞書。 - **logits** (`torch.FloatTensor`、形状 `(batch_size, num_queries, config.num_labels)`) -- 最後のデコーダー層の分類 logits。 - **relative_order_logits** (`torch.FloatTensor`、形状 `(batch_size, config.num_queries, config.num_queries)`) -- 任意の S2R 融合後の、ペアワイズな相対的な読み取り順序のロジツ。 - **successor_order_logits** (`torch.FloatTensor`、shape `(batch_size, config.num_queries, config.num_queries)`) -- 対向直接後継 (ROOR) の logits。 ## PPDocLayoutV4Config[[transformers.PPDocLayoutV4Config]] #### transformers.PPDocLayoutV4Config[[transformers.PPDocLayoutV4Config]] ```python transformers.PPDocLayoutV4Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, initializer_range: float = 0.01, initializer_bias_prior_prob: float | None = None, layer_norm_eps: float = 1e-05, batch_norm_eps: float = 1e-05, tie_word_embeddings: bool = True, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, freeze_backbone_batch_norms: bool = True, encoder_hidden_dim: int = 256, encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048), feat_strides: list[int] | tuple[int, ...] = (8, 16, 32), encoder_layers: int = 1, encoder_ffn_dim: int = 1024, encoder_attention_heads: int = 8, dropout: float | int = 0.0, activation_dropout: float | int = 0.0, encode_proj_layers: list[int] | tuple[int, ...] = (2,), positional_encoding_temperature: int = 10000, encoder_activation_function: str = 'gelu', activation_function: str = 'silu', eval_size: list[int] | tuple[int, int] | None = None, normalize_before: bool = False, hidden_expansion: float = 1.0, num_queries: int = 300, decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256), decoder_ffn_dim: int = 1024, num_feature_levels: int = 3, decoder_n_points: int = 4, decoder_layers: int = 6, decoder_attention_heads: int = 8, decoder_activation_function: str = 'relu', attention_dropout: float | int = 0.0, num_denoising: int = 100, anchor_image_size: list[int] | tuple[int, int] | None = None, disable_custom_kernels: bool = True, global_pointer_head_size: int = 64, gp_dropout_value: float | int = 0.1, hidden_size: int = 256, num_coords: int = 10, s2r_steps: int = 3, s2r_damping: float = 0.5, s2r_closure_weight_init: float = 0.0) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/configuration_pp_doclayout_v4.py#L30) **パラメータ:** is_encoder_decoder (`bool`、*任意*、デフォルトは`True`) : モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。 initializer_range (`float`、*任意*、デフォルトは `0.01`) : すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。 initializer_bias_prior_prob (`float`, *optional*) : `enc_score_head`および`class_embed`のバイアスを初期化するために、バイアス初期化器が使用する事前確率です。`None`の場合、デフォルト値は`1 / (num_labels + 1)`になります。 layer_norm_eps (`float`、*任意*、デフォルトは`1e-05`) : Layer Normalization 層で使用する epsilon。 batch_norm_eps (`float`、*任意*、デフォルトは`1e-05`) : バッチ正規化レイヤーで使用するepsilonです。 tie_word_embeddings (`bool`、*任意*、デフォルトは`True`) : モデルの`tied_weights_keys`マッピングに従って重み埋め込みを共有するかどうか。 backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`、*optional*) : バックボーンモデルの設定です。 freeze_backbone_batch_norms (`bool`, *任意*, デフォルトは `True`) : バックボーン内のバッチ正規化レイヤーを凍結するかどうかを指定します。 encoder_hidden_dim (`int`、*任意*、デフォルトは`256`) : 隠れ表現の次元数。 encoder_in_channels (`list`、*任意*、デフォルトは `[512, 1024, 2048]`) : エンコーダーのマルチレベル特徴量入力。 feat_strides (`list[int]`、*optional*、デフォルトは `[8, 16, 32]`) : 各特徴量マップで使用するストライド。 encoder_layers (`int`、*任意*、デフォルトは`1`) : Transformerエンコーダーの隠れ層の数。設定されていない場合は、`num_layers`と同じ値が使用されます。 encoder_ffn_dim (`int`、*任意*、デフォルトは`1024`) : エンコーダー内の「intermediate」（feed-forward とも呼ばれる）層の次元数。 encoder_attention_heads (`int`、*optional*、デフォルトは`8`) : Transformer エンコーダーの各アテンション層におけるアテンションヘッドの数。 dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : すべての dropout レイヤーの比率。 activation_dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : 全結合層内の活性化に対する dropout 率。 encode_proj_layers (`list[int]`、*任意*、デフォルトは`[2]`) : エンコーダーで使用される投影レイヤーのインデックス。 positional_encoding_temperature (`int`、*任意*、デフォルトは 10000) : 位置エンコーディングを生成するために使用される温度パラメータです。 encoder_activation_function (`str`、*任意*、デフォルトは`"gelu"`) : エンコーダーとプーラーで使用する非線形活性化関数（関数または文字列）。文字列の場合、`"gelu"`、`"relu"`、`"silu"`、`"gelu_new"`がサポートされています。 activation_function (`str`、*任意*、デフォルトは`silu`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。 eval_size (`tuple[int, int]`、*optional*) : ストライドを考慮した後に、位置埋め込みの有効な高さおよび幅を計算するために使用される高さおよび幅。参照実装を再現するには、位置埋め込みを動的に計算する `None` のままにしておく必要があります。 normalize_before (`bool`, *任意*, デフォルトは `False`) : Transformerエンコーダー層において、自己注意機構とフィードフォワードモジュールの前にレイヤーノーマルを適用するかどうかを決定します。 hidden_expansion (`float`、*任意*、デフォルト値は 1.0) : RepVGGBlock と CSPRepLayer の次元サイズを拡大するための拡張比率。 num_queries (`int`、*任意*、デフォルトは 300) : オブジェクトクエリの数。 decoder_in_channels (`list`、*任意*、デフォルトは`[256, 256, 256]`) : デコーダーのマルチレベル特徴量次元 decoder_ffn_dim (`int`、*optional*、デフォルトは 1024) : デコーダー内の「intermediate」（feed-forward と呼ばれることが多い）層の次元数。 num_feature_levels (`int`、*任意*、デフォルトは 3) : 入力特徴量のレベル数。 decoder_n_points (`int`、*optional*、デフォルトは 4) : デコーダーの各アテンションヘッドにおける、各特徴レベルでサンプリングされるキーの数。 decoder_layers (`int`、*任意*、デフォルトは`6`) : Transformer デコーダーの隠れ層の数。設定されていない場合は、`num_layers` と同じ値が使用されます。 decoder_attention_heads (`int`、*任意*、デフォルトは `8`) : Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。 decoder_activation_function (`str`、*任意*、デフォルトは`"relu"`) : デコーダーで使用する非線形活性化関数（関数または文字列）。文字列の場合、`"gelu"`、`"relu"`、`"silu"`、`"gelu_new"`がサポートされています。 attention_dropout (`Union[float, int]`、*任意*、デフォルトは`0.0`) : 注意確率のドロップアウト率。 num_denoising (`int`、*optional*、デフォルトは 100) : 対照的デノイジングに使用されるデノイジングタスクまたはクエリの総数。 anchor_image_size (`tuple[int, int]`、*optional*) : 評価時にバウンディングボックスアンカーを生成するために使用される入力画像の高さと幅。None の場合、アンカーの自動生成が適用されます。 disable_custom_kernels (`bool`、*任意*、デフォルトは`True`) : カスタムカーネルを無効にするかどうか。 global_pointer_head_size (`int`, *任意*, デフォルトは 64) : グローバルポインタヘッドのサイズです。 gp_dropout_value (`float`、*任意*、デフォルトは 0.1) : グローバルポインタヘッドにおける dropout の確率。 hidden_size (`int`、*optional*、デフォルト値は 256) : ハイブリッドエンコーダーを除くデコーダー層の次元。このモデルの系譜である RT-DETR 系で使用される名称 `d_model` としても読み取れます。 num_coords (`int`, *optional*, デフォルト値は 10) : bbox ヘッドによって予測されるボックスのパラメータ化のサイズです。PP-DocLayoutV4 は、sigmoid 空間で `[center_x, center_y, dx1, dy1, dx2, dy2, dx3, dy3, dx4, dy4]` としてエンコードされた4点の四角形を回帰します。ここで、コーナーのオフセットは `+0.5` だけシフトされています。サポートされるのは `10` のみです。 s2r_steps (`int`, *optional*, デフォルトは 3) : 後継行列の推移閉包を近似するために使用される伝播ステップ数。 s2r_damping (`float`、*optional*、デフォルトは 0.5) : 推移閉包の各追加伝播ステップに適用される減衰係数。 s2r_closure_weight_init (`float`、*optional*、デフォルト値は 0.0) : クロージャ項を重み付けする学習可能なゲートの初期値です。デフォルト値は`0.0`であり、未学習のフュージョンモジュールが相対順序ロジットのみを使用した場合と数値的に同一になるように設定されています。 これはPPDocLayoutV4Modelの設定を保存するための設定クラスです。指定された引数に基づいてPp Doclayout V4モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[PaddlePaddle/PP-DocLayoutV4_safetensors](https://huggingface.co/PaddlePaddle/PP-DocLayoutV4_safetensors)と類似した設定が得られます。 設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。 例: ```python >>> from transformers import PPDocLayoutV4Config, PPDocLayoutV4ForObjectDetection >>> # Initializing a PP-DocLayoutV4 configuration >>> configuration = PPDocLayoutV4Config() >>> # Initializing a model (with random weights) from the configuration >>> model = PPDocLayoutV4ForObjectDetection(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## PPDocLayoutV4ImageProcessor[[transformers.PPDocLayoutV4ImageProcessor]] #### transformers.PPDocLayoutV4ImageProcessor[[transformers.PPDocLayoutV4ImageProcessor]] ```python transformers.PPDocLayoutV4ImageProcessor(**kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/image_processing_pp_doclayout_v4.py#L36) **パラメータ:** do_convert_rgb (`bool`, *kwargs*, *optional*) : 画像を RGB に変換するかどうか。 do_resize (`bool`, *kwargs*, *任意*, デフォルトは `True`) : 画像をリサイズするかどうか。 size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*、デフォルト値は`{'height' : 800, 'width': 800}`): モデルへの最大入力次元を記述します。 default_to_square (`bool`, *kwargs*, *任意*、デフォルトは `True`) : size が整数の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。 crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` を適用した後の出力画像のサイズ。 resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*、デフォルトは `3`) : 画像をリサイズする場合に使用するリサンプリングフィルター。`PILImageResampling` の列挙型のいずれかになります。`do_resize` が `True` に設定されている場合のみ有効です。 do_rescale (`bool`, *kwargs*, *optional*, デフォルトは `True`) : 画像をリスケールするかどうか。 rescale_factor (`float`, *kwargs*, *optional*, デフォルトは `0.00392156862745098`) : `do_rescale` が `True` に設定されている場合、画像をリスケールするための係数。 do_normalize (`bool`, *kwargs*, *optional*, デフォルトは `True`) : 画像を正規化するかどうかを指定します。 image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, デフォルトは `[0, 0, 0]`) : 正規化に使用する画像の平均値。`do_normalize` が `True` に設定されている場合のみ有効です。 image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, デフォルトは `[1, 1, 1]`) : 正規化に使用する画像の標準偏差。`do_normalize` が `True` に設定されている場合のみ有効です。 do_pad (`bool`, *kwargs*, *任意*) : 画像にパディングを適用するかどうか。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。正確なパディング戦略はモデルによって異なります。 pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 画像をパディングするサイズを`{"height": int, "width" int}`で指定します。前処理に提供されたすべての画像サイズより大きい必要があります。`pad_size`が指定されない場合、バッチ内の最大の幅と高さにパディングされます。`do_pad=True.`の場合にのみ適用されます。 do_center_crop (`bool`, *kwargs*, *optional*) : 画像を中央クロップするかどうか。 data_format (`Union[str, ~image_utils.ChannelDimension]`、*kwargs*、*optional*) : 対応するのは `ChannelDimension.FIRST` のみです。slow processors との互換性のために追加されました。 input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *任意*) : 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推論されます。以下のいずれかになります: - `"channels_first"` または `ChannelDimension.FIRST`: (num_channels, height, width) 形式の画像。 - `"channels_last"` または `ChannelDimension.LAST`: (height, width, num_channels) 形式の画像。 - `"none"` または `ChannelDimension.NONE`: (height, width) 形式の画像。 device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。 return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *optional*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。`'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *optional*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。`'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *任意*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 `'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 -- PPDocLayoutV4ImageProcessor の画像プロセッサを構築します。 disable_grouping (`bool`, *kwargs*, *任意*): 画像をサイズごとにグループ化してバッチ処理する機能を無効にし、個別に処理するかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、ここ https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *任意*): 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 #### preprocess[[transformers.PPDocLayoutV4ImageProcessor.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], *args, image_like_kwargs: dict[str, typing.Any] | None = None, **kwargs: *) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/image_processing_utils.py#L382) **パラメータ:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 前処理対象の画像。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチの画像を想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、`do_rescale=False` を設定してください。 image_like_kwargs (`dict[str, Any]`、*省略可*) : 追加の画像類似の入力も前処理対象にするための開発者向けフラグです。引数として kwarg を渡す方法が機能しない場合のみ使用してください。例えば、`preprocess(images, masks=masks)` が推奨される方法ですが、一部のモデルでは引数の優先順位の問題が発生します。そのような場合は、代わりに `preprocess(images, image_like_inputs={"masks": masks})` を使用できます。 do_convert_rgb (`bool`, *kwargs*, *optional*) : 画像を RGB に変換するかどうか。 do_resize (`bool`, *kwargs*, *optional*) : 画像をリサイズするかどうか。 size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : モデルへの最大入力次元を記述します。 default_to_square (`bool`, *kwargs*, *optional*) : size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。 crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` を適用した後の出力画像のサイズ。 resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 画像をリサイズする場合に使用するリサンプリングフィルタ。`PILImageResampling` の列挙型のいずれかです。`do_resize` が `True` に設定されている場合のみ有効です。 do_rescale (`bool`, *kwargs*, *任意*) : 画像をリスケールするかどうか。 rescale_factor (`float`, *kwargs*, *optional*) : `do_rescale` が `True` に設定されている場合、画像をリサイズするためのリスケール係数。 do_normalize (`bool`, *kwargs*, *optional*) : 画像を正規化するかどうかを指定します。 image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : 正規化に使用する画像の平均値。`do_normalize` が `True` に設定されている場合のみ有効です。 image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : 正規化に使用する画像の標準偏差。`do_normalize` が `True` に設定されている場合のみ有効です。 do_pad (`bool`, *kwargs*, *任意*) : 画像にパディングを適用するかどうか。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。正確なパディング戦略はモデルによって異なります。 pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 画像をパディングするサイズを`{"height": int, "width" int}`で指定します。前処理に提供されたすべての画像サイズより大きい必要があります。`pad_size`が指定されない場合、バッチ内の最大の幅と高さにパディングされます。`do_pad=True.`の場合にのみ適用されます。 do_center_crop (`bool`, *kwargs*, *optional*) : 画像を中央クロップするかどうか。 data_format (`Union[str, ~image_utils.ChannelDimension]`、*kwargs*、*optional*) : 対応するのは `ChannelDimension.FIRST` のみです。slow processors との互換性のために追加されました。 input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *任意*) : 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推論されます。以下のいずれかになります: - `"channels_first"` または `ChannelDimension.FIRST`: (num_channels, height, width) 形式の画像。 - `"channels_last"` または `ChannelDimension.LAST`: (height, width, num_channels) 形式の画像。 - `"none"` または `ChannelDimension.NONE`: (height, width) 形式の画像。 device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。 return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。 disable_grouping (`bool`, *kwargs*, *optional*) : 画像をサイズごとにグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうかを指定します。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (`int`, *kwargs*, *任意*) : 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 **戻り値:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- __call__ メソッドによって返されるリスト/配列/テンソルの辞書（'pixel_values' など）。 - **tensor_type** (`Union[None, str, TensorType]`、*省略可*) -- 初期化時に PyTorch/Numpy の Tensor 内の整数リストを変換するために、ここで tensor_type を指定できます。 画像または画像のバッチを前処理します。 #### post_process_object_detection[[transformers.PPDocLayoutV4ImageProcessor.post_process_object_detection]] ```python post_process_object_detection(outputs, threshold: float = 0.5, target_sizes = None) ``` [ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_doclayout_v4/image_processing_pp_doclayout_v4.py#L121) **パラメータ:** outputs (`PPDocLayoutV4ForObjectDetectionOutput`) : モデルの生出力。 threshold (`float`、*任意*、デフォルトは 0.5) : オブジェクト検出の予測を保持するためのスコアしきい値。 target_sizes (`torch.Tensor` または `list[tuple[int, int]]`) : バッチ内の各画像のターゲットサイズを、形状 `(batch_size, 2)` の Tensor または (`(height, width)`) のタプルのリストとして指定します。 **戻り値:** `list[Dict]` モデルによって予測された`scores`、`labels`、`boxes`、`polygon_points`、`order_seq`をそれぞれ1つずつ含む辞書のリスト（画像ごとに1つ）。予測結果は読み取り順にソートされるため、`order_seq`は単調非減少となります（複数のラベルで選択されたクエリは単一のランクを保持します）。 [PPDocLayoutV4ForObjectDetection](/docs/transformers/main/ja/model_doc/pp_doclayout_v4#transformers.PPDocLayoutV4ForObjectDetection)の生出力を、`(top_left_x, top_left_y, bottom_right_x, bottom_right_y)`形式の囲みボックスと読み取り順序のランクを含む最終的な四角形に変換します。PyTorchのみサポートしています。