G検定カンペ用語集

自分用G検定用チートシート。

2022年04月


Googleの研究者が開発したモデル。
従来のCNNでは、CNNの幅、深さ、画像の解像度などのネットワークの次元を任意の大きさに適当に決めていた。

●幅(Width)
 1レイヤー当たりのニューロン(ユニット)の数を増やす。
 ニューロンの数を増やすことで、より細かい特徴表現ができるようになり、学習を高速化できる。
  深さに対してニューロンが多すぎると、高度な特徴表現ができにくくなる。

●深さ(Depth)
 レイヤーの数。
 ネットワークを深くすることで、表現力を高くし、複雑な特徴表現を獲得できる。

●入力画像の解像度(Resolution)
 高解像度の入力画像を用いると、詳細なパターンを見出しやすくなる。

ICML2019で発表された論文(EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks)において、幅、深さ、解像度などをそれぞれ何倍に増やすかを複合係数(Compound Coefficient)という係数を導入することで最適化し、CNNをスケールアップするというモデルスケーリングの法則が提案された。
この手法が、EfficientNetの開発につながった。

EfficientNetでは、複合係数に基づいて、深さや広さ、解像度を最適化しながらスケール調整することで、小さなモデルで効率よく高い精度を達成している。
従来モデルよりもパラメーター数を激減させることに成功したことになる。
効率も数倍速くなった。
EfficientNetはオープンソースで公開されている。






  


当時Microsoftに所属していたKaiming Heが提案し、2015年のILSVRCで優勝したネットワーク。
とても深く、かつ表現力が高いモデル。
初めて人の認識精度の誤差5%を超えた。

これまでのCNNでは、表現力を高めるために層を深くしてきたが、深すぎると性能が落ちていた。
ResNetでは、スキップ・コネクション(スキップ結合)構造を取り入れることで、この問題を解決した。
スキップ・コネクション構造は、ある層への入力を飛び越えて層をまたいで奥の層へ入力する形式。
スキップ・コネクション構造により、勾配消失を防止しながら層が多いネットワークを実現することができるようになった。
ResNetでは、最大152層の深さを実現。
前年(2014年)のILSVRCで優勝したGoogLeNetは22層だったので、遥かに深くなった。


Google社が開発したCNNモデル。インセプションモデルとも呼ばれる。
2014年のILSVRCで優勝。
深さが 22 層ある事前学習済みの畳み込みニューラル ネットワーク

入力層から出力層までが一直線ではなく、異なるサイズの畳み込み層を並列に並べたインセプションモジュールを組み合わせた構造になっている。
インセプションモジュールにより、畳み込み層が深くなると画像サイズが小さくなるという従来の畳み込みニューラルネットワークの欠点を改善した。

畳み込み処理の後に、全結合層の代わりにGlobal Average Poolingを導入している。
ネットワークの中間で分岐させて、その時点での損失情報のフィードバックを得るAuxiliary classifierを用いる。

これらの工夫は、過学習を抑え、学習パラメータ数を減らす効果がある。

GoogLeNet ネットワークの再学習を行って、転移学習を使用して新しいタスクを実行できる。


オックスフォード大学のVGG(Visual Geometry Group)チームによって開発されたシンプルなアーキテクチャ。
2014年のILSVRCで2位。

AlexNetと同様に畳み込み層とプーリング層を重ねた典型的なCNNだが、AlexNetよりも層が深い。
重みがある隠れ層(畳み込み層や全結合層)が16層あるモデルは「VGG-16」、隠れ層が19層あるモデルは「VGG-19」と呼ばれる。

当時は、大きいフィルタで画像を一気に畳み込むよりも、小さいフィルタで何度も畳み込む方がよく特徴を抽出できると知られていたため、VGGでも小さなフィルタを使った畳み込み層を2~4つ連続して重ね、その間にプーリング層でサイズを半分にすることを繰り返す構造になっている。


コンピュータ科学の研究者。ニューラルネットワークの研究で有名。
トロント大学とGoogleで働いている。

ニューラルネットワークのバックプロパゲーションボルツマンマシンオートエンコーダディープ・ビリーフ・ネットワークの開発者の1人である。

2012年のILSVRCでは、ジェフリー・ヒントンが率いるトロント大学のチームが開発したAlexNetが優勝した。

↑このページのトップヘ