GPTは、GPT-1、GPT-2・・・GPT-nとバージョンアップしている。
2020年に発表されたGPT-3は、パラメータ数が1750億ある。
(モデルの性能はパラメータ数やデータサイズのべき乗則に従って改善するため、大きくて複雑になる。パラメータ数を減らす研究もある。)

GPT-3の基本はトランスフォーマーである。
「ある単語の次に来る単語」を予測し、自動的に文章を完成できるように教師なし学習を行う。

学習前のGPT-3のパラメータはランダム値に設定されている。
学習に基づいて更新される。
入出力はトークンを使用。

幅広い言語タスクを高精度で実現できる。
人間が書いたような文章も自動生成できる。
翻訳・質疑応答・文の構成・文の穴埋めなどに利用されている。
自然言語からソースコードを生成。
楽譜やデザインを生成する。

GPT-3にプログラミングコードを数行与えて実行すると、用途に合わせて自動生成できる。
このような少数の事列で学習できるAIをFew Shot Learningという。

GPT-3は事前学習したモデルと同じモデルを転移学習に使用できるので、転移学習に使いやすい。
つまり、モデル再構築やアルゴリズムの最適化のプロセスを省けるということ。
(ただし、事前学習(基礎訓練)には膨大なデータが必要である。)

●GPT-3の課題
①人間らしい文を生成できるので、完全オープンソースとしては提供されず、API利用に申請が必要。
②パラメータが膨大なので、とても高性能なGPUが必要。
③リアルな文を生成できるが、意味的な違和感や内容の矛盾が出ることもある。
④物理現象に関する推論ができない。「灯り、眩しい?」などの質問には答えにくい(⇒シンボルグラウンディング問題