# UL2

## 概要

T5モデルは、Yi Tay、Mostafa Dehghani、Vinh Q. Tran、Xavier Garcia、Dara Bahri、Tal Schuster、Huaixiu Steven Zheng、Neil Houlsby、Donald Metzler による [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) で発表されました。

論文の抄録は以下の通りです。

*既存の事前学習済みモデルは、特定のクラスの課題に特化して設計されているのが一般的です。現在に至るまで、適切なアーキテクチャや事前学習の設定について、まだ合意が得られていません。本論文では、データセットや設定を問わず普遍的に有効なモデルを事前学習するための統一フレームワークを提示します。まず、アーキテクチャの原型と事前学習の目的という、しばしば混同されがちな2つの概念を分離します。次に、NLPにおける自己教師あり学習の一般化かつ統一された視点を示し、異なる事前学習の目的が互いに変換可能であること、および異なる目的間の補間が有効であることを示します。その後、多様な事前学習のパラダイムを組み合わせる事前学習目的であるMixture-of-Denoisers (MoD)を提案します。さらに、モードスイッチングという概念を導入し、下流のファインチューニングが特定の事前学習スキームに関連付けられることを示します。複数の事前学習目的を比較するための広範なアブレーション実験を実施した結果、当社の手法は、多様な複数の設定においてT5および/またはGPT系のモデルを上回り、パレートフロンティアを押し広げることがわかりました。最後に、モデルを200億パラメータまでスケールアップすることで、言語生成（自動評価および人間による評価を含む）、言語理解、テキスト分類、質問応答、常識推論、長文推論、構造化知識のグラウンディング、情報検索にわたる50の確立された教師ありNLPタスクでSOTAの性能を達成しました。当社のモデルは、コンテキスト内学習でも強力な結果を示し、ゼロショットSuperGLUEでは1750億パラメータのGPT-3を上回り、ワンショット要約ではT5-XXLの性能を3倍にしています。*

このモデルは [DanielHesslow](https://huggingface.co/Seledorn) によって提供されました。元のコードは [こちら](https://github.com/google-research/google-research/tree/master/ul2) で確認できます。

## 使用のコツ

- UL2は、ノイズ除去機能の混合データで事前学習されたエンコーダー・デコーダーモデルであり、さらに多様な下流タスクでファインチューニングされています。
- UL2は[T5v1.1](t5v1.1)と同じアーキテクチャを持ちますが、Gated-GELUの代わりにGated-SiLU活性化関数を使用しています。
- 著者たちは、[こちら](https://huggingface.co/google/ul2)で確認できる1つのアーキテクチャのチェックポイントを公開しています。

UL2はT5v1.1と同じアーキテクチャを持つため、APIリファレンス、ヒント、コード例、ノートブックについては、[T5のドキュメントページ](t5)を参照してください。