機械学習のモデルの解釈性に注目し、ブラックボックス性の解消を目指した研究が進められている。

LIMESHAP
モデル全体の傾向ではなく特定のデータサンプルに着目し、単純なモデルで近似することで予測に寄与する因子を推定する「局所的な説明ツール」。

GradーCAM 
勾配情報を活用することでディープラーニングモデルそのものに判断根拠を持たせる。