予測分析-「なぜ」の要因とモデルの解釈可能性

主にカテゴリ/名義であるx変数のトンを含むデータがあり、ターゲット変数はマルチクラスラベルです。マルチクラス変数を予測し、それぞれのパフォーマンスを比較するために、いくつかのモデルを構築することができます。トレーニングとテストのデータがあります。トレーニングデータとテストデータの両方で、良い結果が得られました。

今、私はモデルが特定のY変数を予測した「理由」を見つけようとしていますか？気象データがある場合の意味：X変数：都市、州、郵便番号、気温、年。Y変数：雨、太陽、曇り、雪。モデルが「なぜ」予測したのか、雨、太陽、曇り、雪などを丁寧に調べたいと思います。マルチノミナル、ディシジョンツリーなどの分類アルゴリズムを使用しました

これは幅広い質問かもしれませんが、私はどこかで研究を始めることができる必要があります。「何」を予測することはできますが、「なぜ」が雨、太陽、曇り、または雪のラベルとして予測されたのかわかりません。基本的に、私は変数を予測する原因となった変数間のリンクを見つけようとしています。

これまでのところ、相関行列、主成分分析（モデル構築プロセス中に発生）を使用することを考えていました...少なくとも、どれが優れた予測子で、どれがそうでないかを確認するためです。「なぜ」の要因を理解する方法はありますか？

モデルの解釈可能性は、現在の研究（聖杯などを考えてください）の非常に活発で非常にホットな領域であり、特にさまざまなタスクでの深層学習モデルの（多くの場合途方もない）成功のために最近提唱されています。アルゴリズムの公平性と説明責任の必要性...

集中的な理論的研究とは別に、最近、ニューラルネットワークと他の一般的なMLモデルの両方について、実用的なレベルのツールボックスとライブラリがいくつかあります。これは間違いなくしばらくの間あなたを忙しくさせるはずの部分的なリストです：

• ニューラルネットワーク用のLayer-wiseRelevance Propagation（LRP）ツールボックス（http://www.jmlr.org/papers/v17/15-618.html、 http://heatmapping.org/、 https://github.com/sebastian-lapuschkin/lrp_toolbox、 https://github.com/VigneshSrinivasan10/interprettensor）

• FairML：Cloudera Fast Forward Labsによるブラックボックス予測モデルの監査（http://blog.fastforwardlabs.com/2017/03/09/fairml-auditing-black-box-predictive-models.html、 https://arxiv.org/abs/1611.04967、 https://github.com/adebayoj/fairml）

• ライム：ローカルで解釈可能なモデルにとらわれない説明（https://arxiv.org/abs/1602.04938、 https://github.com/marcotcr/lime、 https://www.oreilly.com/learning/introduction-to-local-interpretable-model-agnostic-explanations-lime、 https://cran.r-project.org/web/packages/lime/index.html）

• https://arxiv.org/abs/1602.07043 そして https://arxiv.org/abs/1412.3756 （著者の https://github.com/algofairness/BlackBoxAuditing）

• Geoff Hintonによる最近の（2017年11月）論文、 https://arxiv.org/abs/1711.09784、さまざまな独立した https://paperswithcode.com/paper/distilling-a-neural-network-into-a-soft

• SHAP：モデル予測を解釈するための統一されたアプローチ（https://arxiv.org/abs/1705.07874、著者の https://github.com/slundberg/shap、 https://github.com/redichh/ShapleyR）

• 解釈可能な畳み込みニューラルネットワーク（https://arxiv.org/abs/1710.00935、著者のMatlab https://github.com/zqs1022/interpretableCNN）

• Lucid、Googleによるニューラルネットワークの解釈可能性の研究のためのインフラストラクチャとツールのコレクション（https://github.com/tensorflow/lucid; 論文：https://distill.pub/2017/feature-visualization/、 https://distill.pub/2018/building-blocks/）

• Transparecy-by-Design（TbD）ネットワーク（https://arxiv.org/abs/1803.05268、 https://github.com/davidmascharka/tbd-nets、 https://mybinder.org/v2/gh/davidmascharka/tbd-nets/binder?filepath=full-vqa-example.ipynb）

• SVCCA：深層学習のダイナミクスと解釈可能性のための特異ベクトル正準相関分析（https://arxiv.org/abs/1706.05806、 https://github.com/google/svcca、 https://ai.googleblog.com/2017/11/interpreting-deep-neural-networks-with.html）

• TCAV：コンセプトアクティベーションベクターを使用したテスト（https://arxiv.org/abs/1711.11279、 https://github.com/tensorflow/tcav）

• Grad-CAM：勾配ベースのローカリゼーションによるディープネットワークからの視覚的説明（https://arxiv.org/abs/1610.02391、著者の https://github.com/ramprs/grad-cam、 https://github.com/Ankush96/grad-cam.tensorflow、 https://github.com/meliketoy/gradcam.pytorch、Keras http://nbviewer.jupyter.org/github/fchollet/deep-learning-with-python-notebooks/blob/master/5.4-visualizing-what-convnets-learn.ipynb）

• ネットワーク解剖：MIT CSAILによる深い視覚表現の解釈可能性の定量化（http://netdissect.csail.mit.edu/、 https://github.com/CSAILVision/NetDissect、 https://github.com/CSAILVision/NetDissect-Lite）

• GAN解剖：MIT CSAILによる生成的敵対的ネットワークの視覚化と理解（https://gandissect.csail.mit.edu/、紙とコードへのリンク付き）

• 修正の説明：DNNオブジェクト検出器の予測を解釈および修正するためのフレームワーク（https://arxiv.org/abs/1811.08011、 https://github.com/gudovskiy/e2x）

• アンカー：高精度モデルにとらわれない説明（https://homes.cs.washington.edu/%7Emarcotcr/aaai18.pdf、 https://github.com/marcotcr/anchor）

• マイクロソフトによる多様な反事実的説明（DiCE）（https://arxiv.org/abs/1905.07697、 https://github.com/microsoft/dice、 https://www.microsoft.com/en-us/research/blog/open-source-library-provides-explanation-for-machine-learning-through-diverse-counterfactuals/）

• 公理ベースのGrad-CAM（XGrad-CAM）：CNNの正確な視覚化と説明に向けて、既存のGrad-CAMメソッドの改良版（https://arxiv.org/abs/2008.02312、 https://github.com/Fu0511/XGrad-CAM）

解釈可能性が主流に近づくにつれて、上記でリンクされた複数のアルゴリズムと手法を組み込んだフレームワークとツールボックスがすでに存在します。これがPythonのものの（再び部分的な）リストです：

• ELI5 Pythonライブラリ（https://github.com/TeamHG-Memex/eli5、 https://eli5.readthedocs.io/en/latest/）
• GoogleのWhat-Ifツール、オープンソースのTensorBoard Webアプリケーションの新しい（2018年9月）機能。ユーザーはコードを記述せずにMLモデルを分析できます（https://pair-code.github.io/what-if-tool/、 https://github.com/pair-code/what-if-tool、 https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html）
• tf-explain-Tensorflow 2.0コールバックとしての解釈可能性メソッド（https://github.com/sicara/tf-explain、 https://tf-explain.readthedocs.io/en/latest/、 https://blog.sicara.com/tf-explain-interpretability-tensorflow-2-9438b5846e35）
• MicrosoftによるInterpretML（https://interpret.ml/、 https://github.com/Microsoft/interpret まだアルファ版ですが、 https://arxiv.org/abs/1909.09223）
• Facebook AIによるCaptum-Pytorchのモデルの相互運用性（https://captum.ai/、 https://github.com/pytorch/captum、 https://ai.facebook.com/blog/open-sourcing-captum-a-model-interpretability-library-for-pytorch/）
• Skater、Oracle（https://github.com/oracle/Skater、 https://oracle.github.io/Skater/）
• アリビ、SeldonIO（https://github.com/SeldonIO/alibi、 https://docs.seldon.io/projects/alibi/en/stable/）
• http://aix360.mybluemix.net/、IBMによる（https://github.com/IBM/AIX360、 https://www.ibm.com/blogs/research/2019/08/ai-explainability-360/）

参照：

• https://christophm.github.io/interpretable-ml-book/、クリストフ・モルナルによるオンラインGitbook https://github.com/christophM/iml 利用可能

• https://pbiecek.github.io/ema/、PrzemyslawBiecekとTomaszBurzykowskiによる別のオンラインブック、RとPythonの両方のコードスニペット

• A https://twitter.com/ledell/status/995930308947140608、Rで利用可能ないくつかの解釈ツールにリンクしています。

• KaggleでのDanBeckerによる短い（4時間）オンラインコース、 https://www.kaggle.com/learn/machine-learning-explainability、および付随する https://towardsdatascience.com/why-model-explainability-is-the-next-data-science-superpower-b11b6102a5e0

• ...そしてたくさんのリソースがhttps://github.com/jphall663/awesome-machine-learning-interpretability レポ