先行き不透明で予測困難な時代、これまでうまくいった方法を前提に計画、実行、検証、改善というPDCAサイクルをまわしても、前提自体が間違っている場合、うまく機能しません。
このような時代、まず、実験して、うまくいく方法を探してから、その方法を実践するというアプローチのほうが有効です。
つまり、まず、仮説をたて、実験し、その結果を検証して改善する仮説検証プロセスが重要なのです。
この仮説検証プロセスですが、これは、
まず、なんらかの現象を観察することで問題(事象)を発見するところから始まり、
その原因を推定し、それを解決するための計画をたてて、
実験する
その結果を検証し、
学びを得る、
そして、うまくいかなければ、再度実験計画を改善する。
このような仮説検証サイクルをまわすことです。
これを、仮説推論も加えて論理的推論という観点で考えてみましょう。
論理的推論には、大きく以下の3つがあります。
- 演繹(Deduction)
- 帰納(Induction)
- 仮説推論(Abduction)
演繹は、規則と前提から結論を導きます。
前提を原因、結論を結果と考えても良いでしょう。
また、規則とは、前提が真であれば結論も必ず真になるという論理的関係のことです。
数学者は、通常、演繹的に推論します。
演繹の場合、前提が真ならば結論も真になることを保証します。
帰納は、前提が結論を伴ういくつかの事例を観察した結果として規則を推論します。
科学者は、通常、帰納的に推論します。
帰納の場合、推論した規則が真であることを保証しないので蓋然的、つまり、確率的な推論になります。
仮説推論は、結論に規則を当てはめて前提を推論します。
医者や探偵、コンサルタントは、通常、仮説推論をします。
仮説推論の場合、推論した前提が真であることを保証しないので蓋然的、つまり、確率的な推論になります。
さて、ここで、仮説検証プロセスを次のように考えてみましょう。
- 問題の発見
まず、どこで問題や事象が生じているか明確にする。
このとき、データの平均、分布などを記述的に分析します(記述的分析)。
例
どこで売上が低下しているか? - 原因の特定
次に、問題を引き起こしてる因子と、それらの因果関係を推論し、根本的な原因を特定する。
これは、思考法でいうと仮説推論になります。
データを分析する場合、機械学習モデルによって、問題を引き起こしてる因子を推論します(予測的分析)。
例
なぜ売上が低下しているか?
売上を低下させている要素の特徴は何か? - 課題の設定
次に、原因を取り除くための課題を設定する。
例
問題の原因を取り除くために☓☓する。 - 解決策の設計
次に、課題を解決するための解決策を設計し、実験を通して、その確からしさを検証する。
これは、思考法でいうと帰納的なアプローチになります。
データを分析する場合、機械学習モデルによって、課題を解決する因子を推論します(処方的分析)。
例
課題を解決するために☓☓する(アクションプラン)。 - 問題の解決
最後に、検証された解決策(規則)を適用して演繹的に問題を解決する。
このように考えると、
問題を分析し、何らかの規則に則って原因を推定する流れは、論理的推論でいうと仮説推論(アブダクション)になることがわかります。
つまり、論理的推論で考えると、仮説推論(アブダクション)で、原因を推定し、原因に対する課題を解決するため解決策を実験計画を立てて検証し、その規則を帰納的に実証する部分が仮説検証プロセスということになります。
ちなみに、規則が帰納的に実証されれば、それを使って、演繹的に問題を解決していく。
この部分は、通常のPDCA(計画・実行・検証・改善)をまわす実践プロセスということになります。
次に、仮説検証プロセスとデータ分析の関係を考えてみましょう。
データ分析は、次の3つに分けることができます。
- 記述的分析(Descriptive Analytics)
- 予測的分析(Predictive Analytics)
- 処方的分析(Prescriptive Analytics)
過去に何が起こったかをデータから読み取り説明する分析。
将来何が起こるかデータから読み取り予測する分析。
データを活用して複雑な意思決定を自動化する分析。
記述的分析は、通常の統計的な分析、予測的分析、処方的分析には機械学習やAIを活用します。
予測的分析、処方的分析の詳細については、データサイエンスを参照ください。
仮説立案にデータ分析を適用してみると、まず、問題を分析して、問題を特定するときに、記述的分析でデータの様子(分布や相関)を確認します。
次に、機械学習やAIを活用して、問題に対する原因を探究し、将来を予測します。
例えば、仮説推論の規則として、線形回帰モデルなどが想定されます。
このとき、分析するために必要なデータがあるかないか、どこにあるか、データ品質はどうか確認します。
そして、解決策を設計するとき、機械学習モデルを適用することで、どの程度の利益が期待できるのか、予測される結果に対する期待値を算定します。
そして、仮説として立案された実験計画にそって、それを実験を通して検証することで、うまくいく方法を見つけ出すのです。
なお、実験結果は、仮説検定など統計的な方法によって検証されます。
また、仮説検証によって実証された機会学習モデルやノウハウは組織ナレッジとして蓄積されます。
一般的に予測的分析や処方的分析によるデータサイエンスは、前提と結論の事実であるデータから線形回帰モデルのような規則を推論する帰納的推論とされています。
ここでは、線形回帰モデルの型を規則として、結果(目的変数)から原因(説明変数)の当たりをつけて(仮説推論)、それをランダム化比較実験によって検証するというアプローチを考えています。
次に、ビジネスにおける仮説検証プロセスの位置付けについて考えてみましょう。
事業戦略を、財務の視点、顧客の視点、活動の視点、資産の視点で考えると、
収益を上げるためのビジネス課題
顧客価値を上げるためにビジネス課題
コアコンピタンスを上げるためのビジネス課題
資産価値を上げるためのビジネス課題
が考えられ、それらを解決するための仮説検証が実行されることになります。
仮説検証プロセスの動画