G検定カンペ用語集

自分用G検定用チートシート。

2022年03月


機械学習の一分野。
特定の状況下で最大限の報酬をもらうためにどのような行動をとるべきかを学習する。

強化学習は、エージェントが環境と「状態」「行動」「報酬」に基づいて意思決定ルールを見出す

<エージェント>
強化学習における主体。
現在置かれている状況を「状態」として認知し、取るべき「行動」を判断して実行する。

<環境>
エージェントの各行動に対し、事前に定められた確率に基づいて、次の状態と「報酬」を発生させる。

エージェントは環境が与えた「状態」を認知し、意思決定ルールに基づく判断に基づいて行動を実行する。
エージェントは、実行された行動に応じた報酬を環境から受け取り、「状態」「行動」「報酬」に基づいて意思決定ルールを強化する。
この流れが繰り返されることにより、最終的に最大の報酬をもらえるような行動ルールを学習する

たとえば、ロボットの歩行制御では、ロボットに対して「歩けた距離」を報酬として与える。
ロボットは歩行距離を最大化するために、自らさまざまな歩き方を試行錯誤する。
その結果、歩行可能距離の長いアルゴリズムが構築される。

教師あり学習教師なし学習とは異なり、強化学習は動的な環境で動作し、収集した経験から学習する。
教師あり学習・教師なし学習で必要とされる、学習前のデータ収集・前処理・ラベル付けは不要。
事実上、適切なインセンティブがあれば、人間の監視がなくても行動の学習が可能である。

強化学習は、囲碁やチェスなどのボードゲームやビデオゲームにおいて活用され、人間プレイヤーに勝利をおさめている。
また自動運転やロボティクスなどにも活用されている。

強化学習は新しい概念ではない(1950年代にはすでに存在した)が、ディープラーニングや計算能力の進歩により目覚ましい成果をもたらしている。




教師あり学習教師なし学習を組み合わせて学習する方法。
組み合わせ方には、いくつかの手法がある。

教師なし学習で特徴表現を獲得した後で、教師あり学習を行って、そのモデルを再学習する手法や、

正解ラベルがついているデータとついていないデータの両方を使って、
1)まず正解ラベルがついているデータを使って教師あり学習を行い、
2)1)で構築した分類モデルを使って、正解ラベルがついていないデータのうち、まずは信頼度の高いデータのラベルを予想する。
3)新しくラベルづけされたデータセットを使って、再度モデルを訓練する。
4)残りの正解なしデータのラベルを予測する。
という手法がある。


正解ラベルがついている十分な量のデータを用意できないときや、正解ラベルをつける作業(アノテーション)のコストを削減したい場合に、半教師学習を使うと有利になる。

半教師あり学習は、通常の教師あり学習よりも精度を高められることもあるといわれている。

デメリットとしては、ラベル付きデータに偏りがあると上手くモデルが学習できなくなる点がある。









機械学習とは、人工知能の中の手法のひとつ。

機械学習を最初に定義づけたのは、アーサー・サミュエル
「(機械学習とは)明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」

大量のデータをもとに学習し、データ内の汎用的なルールやパターンを導き出す手法。

機械学習では、分析データの特徴を定量的に表現した数値「特徴量」を抽出する。
特徴量の選び方、識別や予測の精度に影響する。

インターネットの普及(2000年以降)によりデータの流通や収集、蓄積が容易になり、膨大なデータ(ビッグデータ)の時代となった。
ビッグデータによって、機械学習で汎用的なパターンを効率的に見つけることができるようになった。

機械学習は以下の4つに分けられる。

ニューラル・ネットワークは、機械学習の一分野。

ディープラーニング(深層学習)も、機械学習の中の一分野であり、且つ、ニューラルネットワークの中の手法のひとつでもある。
ディープラーニングは、教師あり学習、教師なし学習、強化学習のすべてに適用できる。​








機械学習の手法のひとつ。
教師あり学習に正解ラベルがつけられているのに対し、学習データに正解を与えない状態で学習させる学習手法。

正解がなく特徴量のみがある。
正解がないため、教師あり学習で行える分類や回帰の問題には対応できない。

教師なし学習の狙いは、学習データそのものが持つ構造を見つけ出すこと
正解・不正解が明確でない場合に効果を発揮する。
代表的なものは、クラスタリングと次元削減。

<クラスタリング>
クラスタリングはデータをいくつかのクラスタにグルーピングすること。
正解のないデータから、共通する特徴を持つグループにわける。
代表的な手法に、K-means法がある。

<次元削減>
データを特徴づける情報を抽出すること。
情報を凝縮させる(データの次元数を減らす)ことで、高次元のデータを低次元のデータに変換し、本質的な情報を導き出す。

例えば、国語、数学、理科、英語という5教科(5次元)のそれぞれの得点からは、学生の学力を評価しにくいが、5教科を「理系」「文系」の2つの軸(主成分)に統合することで、「理系が得意な学生」「文系が得意な学生」と見ることができ、評価しやすくなる。

代表的な手法に、主成分分析(PCA)がある。






機械学習の手法のひとつ。
特徴量と正解ラベルのセットを学習データとする。
特徴量と正解の間にある関係性を見出し、予測値を正解に近づけるように学習する。

たとえば、大量の動物の画像データに、「うさぎ」「パンダ」「くま」・・・等と事前にラベリングをしておく。
正解データを用意し、それらを教師(正解)として学習を行う。
学習していない未知の画像を入力した場合にも、学習した結果から「うさぎ」か「パンダ」か等を判定することができる。 

教師あり学習で扱うタスクは、分類問題回帰問題に分けられる。
・受信したメールが、正常なメールかスパムメールかを判定する。
・ローン申請者への融資リスクの肯定を判断する。
・選挙の特定の候補者についての投票率を予測する。
・住宅販売価格を、過去の実績に基づいて予測する。

学習データに正解を与えない教師なし学習と対をなす手法。
正解が明確である場合には教師あり学習、不明確な場合には教師なし学習を利用する。
汎用的に利用されている。

<教師あり学習のメリット>
人間が正解データを与えるため、学習精度が高く、学習速度も早い。
学習に用いる教師データが多いほど、学習精度が高まる傾向がある。

<教師あり学習のデメリット>
正解が存在しないケースには利用できない。
正解データの質が学習精度に影響を与える。
最初に正解データを与えなければいけないため、初めて販売する製品のターゲット市場を決める場合などでは利用できない。




↑このページのトップヘ