BERTと並ぶ有名な事前学習モデル。
OpenAIが開発。

エンコーダーを持たず、トランスフォーマーのデコーダと似た構造を持つネットワークを用いて、過去の単語列から次の単語を予測するように学習する。
文章の内容や背景を学習する上で高い性能を発揮。
以下のような「言語理解タスク」に対応できる。

●入力された分がPositiveかNegativeかNeutralかを判定する「評判分析(Sentiment Analysis)」。
一般的な文章分類に利用される。

●与えられた2つの文のないように矛盾があるか、一方が他方を含意するのかなどを判定する「自然言語推論(Natural Language Inference NLI)」。
関係認識ともいう。

●文章とこれに関する質問文が与えられた時、適切な回答を選択肢の中から選ぶ「質問応答(Question Answer)」。
常識推論ともいう。

●2つの文が同じ意味かどうか判定する「意味的類似度(Semantic Similarity)。」