# SLANet

## 概要

**SLANet** と **SLANet_plus** は、文書や自然なシーンにおける表構造の正確な認識に焦点を当てた、表構造認識専用の軽量モデルシリーズの一部です。SLANet シリーズモデルの詳細については、[公式ドキュメント](https://www.paddleocr.ai/latest/en/version3.x/module_usage/table_structure_recognition.html)を参照してください。

## モデルアーキテクチャ

SLANetは、Baidu PaddlePaddle Vision Teamが開発したテーブル構造認識モデルです。このモデルは、CPUに優しい軽量バックボーンネットワークであるPP-LCNet、高次・低次特徴融合モジュールであるCSP-PAN、および構造情報と位置情報を整列させる特徴デコーディングモジュールであるSLA Headを採用することで、テーブル構造認識の精度と推論速度を大幅に向上させています。

## 使用方法

### 単一入力推論

以下の例では、[AutoModel](/docs/transformers/main/ja/model_doc/auto#transformers.AutoModel)を使用してSLANetでテキストを検出する方法を示します。

```python
from io import BytesIO

from huggingface_hub.utils import httpx
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForTableRecognition

model_path="PaddlePaddle/SLANet_plus_safetensors"
model = AutoModelForTableRecognition.from_pretrained(model_path, device_map="auto")
image_processor = AutoImageProcessor.from_pretrained(model_path)

image = Image.open(BytesIO(httpx.get(image_url).content))
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)

results = image_processor.post_process_table_recognition(outputs)

print(result['structure'])
print(result['structure_score'])
```

## SLANetConfig[[transformers.SLANetConfig]]

#### transformers.SLANetConfig[[transformers.SLANetConfig]]

```python
transformers.SLANetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, post_conv_out_channels: int = 96, out_channels: int = 50, hidden_size: int = 256, max_text_length: int = 500, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, hidden_act: str = 'hardswish', csp_kernel_size: int = 5, csp_num_blocks: int = 1)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/configuration_slanet.py#L31)

**パラメータ:**

post_conv_out_channels (`int`, *optional*, デフォルトは 96) : エンコーダー後の畳み込み層の出力チャネル数。

out_channels (`int`、*optional*、デフォルトは 50) : テーブル構造トークン予測ヘッドの語彙サイズ、つまりモデルが予測できる異なる構造トークンの数です。

hidden_size (`int`、*optional*、デフォルトは 256) : attention GRU セルおよび構造/位置予測ヘッドにおける隠れ状態の次元数。

max_text_length (`int`, *任意*, デフォルト値は 500) : 構造および位置デコーダーの自己回帰デコーディングステップ（トークン）の最大数。

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`、*optional*) : バックボーンモデルの設定です。

hidden_act (`str`、*任意*、デフォルトは`hardswish`) : デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、`"gelu"`、`"relu"`、`"silu"`など。

csp_kernel_size (`int`, *optional*, デフォルトは 5) : Cross Stage Partial (CSP) レイヤーのカーネルサイズ。

csp_num_blocks (`int`、*optional*、デフォルトは 1) : Cross Stage Partial (CSP) レイヤー内のブロック数。

これはSlanetModelの設定を保存するための設定クラスです。指定された引数に基づいてSlanetモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[PaddlePaddle/SLANet_plus_safetensors](https://huggingface.co/PaddlePaddle/SLANet_plus_safetensors)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/main/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

## SLANetForTableRecognition[[transformers.SLANetForTableRecognition]]

#### transformers.SLANetForTableRecognition[[transformers.SLANetForTableRecognition]]

```python
transformers.SLANetForTableRecognition(config: SLANetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/modeling_slanet.py#L455)

**パラメータ:**

config ([SLANetConfig](/docs/transformers/main/ja/model_doc/slanet#transformers.SLANetConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

用のSLANet Table Recognitionモデル。SLANetPreTrainedModelをラップし、Transformersのtable recognition APIと互換性のある出力を返します。

このモデルは [PreTrainedModel](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.SLANetForTableRecognition.forward]]

```python
forward(pixel_values: FloatTensor, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/modeling_slanet.py#L464)

**パラメータ:**

pixel_values (`torch.FloatTensor`、shape `(batch_size, num_channels, image_size, image_size)`) : 入力画像に対応するテンソルです。ピクセル値は[SLANeXtImageProcessor](/docs/transformers/main/ja/model_doc/slanext#transformers.SLANeXtImageProcessor)を使用して取得できます。詳細は[SLANeXtImageProcessor.__call__()](/docs/transformers/main/ja/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)を参照してください（`processor_class`は画像の処理に[SLANeXtImageProcessor](/docs/transformers/main/ja/model_doc/slanext#transformers.SLANeXtImageProcessor)を使用します）。

**戻り値:** `SLANetForTableRecognitionOutput` または `tuple(torch.FloatTensor)`

`SLANetForTableRecognitionOutput`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。設定（[SLANetConfig](/docs/transformers/main/ja/model_doc/slanet#transformers.SLANetConfig)）や入力に応じて、さまざまな要素で構成されます。

[SLANetForTableRecognition](/docs/transformers/main/ja/model_doc/slanet#transformers.SLANetForTableRecognition)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, num_channels, height, width)`) -- モデルの最終層の出力における隠れ状態のシーケンス。
- **hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（モデルに埋め込み層がある場合はその出力用 + 各層の出力用）で、形状は `(batch_size, num_channels, height, width)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
- **head_hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合、または `config.output_hidden_states=True` の場合に返されます) -- 各予測ステップにおける SLANetSLAHead の隠れ状態。早期終了に依存して、最大 `self.config.max_text_length` 個の状態まで変化します。
- **head_attentions** (`tuple(torch.FloatTensor)`、*optional*、`output_attentions=True` が渡された場合または `config.output_attentions=True` の場合に返されます) -- 各予測ステップにおける SLANetSLAHead のアテンション。早期終了に依存して、最大 `self.config.max_text_length` 個のアテンションまで変化します。

## SLANetBackbone[[transformers.SLANetBackbone]]

#### transformers.SLANetBackbone[[transformers.SLANetBackbone]]

```python
transformers.SLANetBackbone(config: SLANetConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/modeling_slanet.py#L428)

#### forward[[transformers.SLANetBackbone.forward]]

```python
forward(hidden_states: FloatTensor, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/modeling_slanet.py#L436)

**パラメータ:**

hidden_states (`torch.FloatTensor`) : 層への入力。形状は `(batch, seq_len, embed_dim)`

**戻り値:** `BaseModelOutputWithNoAttention` または `tuple(torch.FloatTensor)`

`BaseModelOutputWithNoAttention`、または`torch.FloatTensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。構成（[SLANetConfig](/docs/transformers/main/ja/model_doc/slanet#transformers.SLANetConfig)）や入力に応じて、さまざまな要素で構成されます。

[SLANetBackbone](/docs/transformers/main/ja/model_doc/slanet#transformers.SLANetBackbone)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.FloatTensor`、shape `(batch_size, num_channels, height, width)`) -- モデルの最終層の出力における隠れ状態のシーケンス。
- **hidden_states** (`tuple(torch.FloatTensor)`、*optional*、`output_hidden_states=True` が渡された場合または `config.output_hidden_states=True` の場合に返されます) -- `torch.FloatTensor` のタプル（モデルに埋め込み層がある場合はその出力用 + 各層の出力用）で、形状は `(batch_size, num_channels, height, width)` です。

  各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

## SLANetSLAHead[[transformers.SLANetSLAHead]]

#### transformers.SLANetSLAHead[[transformers.SLANetSLAHead]]

```python
transformers.SLANetSLAHead(config: dict | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/main/src/transformers/models/slanet/modeling_slanet.py#L138)