#1 施策効果を測るときに単純比較はアブない(こともある)

なぜ効果検証が必要か?

　デジタルトランスフォーメーション（DX）や業務改善を効果的に推進するためには、業務分析から正しい打ち手を検討・導入するだけでなく、導入した施策の効果を定量的に把握することが非常に重要です。施策の効果を定量的に把握することができれば、施策の投資対効果（ROI）を評価し、効果に基づいた意思決定が可能になります。しかし、不正確な効果検証結果に基づき誤った意思決定をしてしまうと、効果のないものにコストを払い続ける、本当に効果がある取り組みを見逃す等 効率的なDXを妨げる恐れがあります。

正しい効果検証のためには何が必要か?

　データから正しく効果検証をするという問いは、データ分析の世界では「統計的因果推論」という分野で研究が進められてきました。正確な説明は専門書に譲りますが、正しい効果検証には、施策のランダム化(もしくは同様の状況とみなせるか)が重要な役割を果たします。

　施策のランダム化とは、対象となる集団を無作為に分けて、施策を実施するグループ(実験群/Treatment)と実施しないグループ(対照群/Control)を設定する施策の割付条件のことです。このようにランダムに選ぶことで、個の違いはあるものの、施策の有無を除いて群として両グループは平均的に”同じ”であるという状況を生み出せます。このような施策の割付条件で、外部要因の影響を排除することで、施策自体の効果を正確に検証することが可能になります。

　一方、ビジネス現場においてランダム割付を行うことは容易ではなく、施策実施時にランダム化が行われないケースが多々発生します。例えば、社内で業務効率化ITツールを導入する場合、社員をランダムに選んでツールを利用してもらい生産性を比較することが理想ですが、導入においては社内事情が絡み(業務に余裕がある、ITに明るい上長のいる部署から率先して受け入れ等)、ランダム化がされないまま施策が実行され、その上、施策あり/なしの単純比較で効果測定が行われることあります。
　このような場合、ツール利用社員の生産性が上がったとしても、もともと生産性の高い部署がツールを導入したからツール自体の効果ではなく部署の特性によるものかもしれないというバイアスが生まれ、施策効果に基づいた意思決定が難しくなります。

条件に応じてどのような結果が得られるか(シミュレーション)

　以下のシミュレーションでは、ランダム割付が効果測定にどのように影響を与えるか見ていきます。シミュレーションは、「潜在的結果(Potential Outcome)フレームワーク」という考え方に基づいて行っていきます (詳細は専門書をご参照ください)。結果には、施策を受けたとき/受けないときという2つの仮想的な状態があると考え、実際には施策の割付によって片方しか観測できず直接差を得られない中で、この本来的な結果の平均的な差(=施策の効果)にどうやって近づくか考えるアプローチです。

　まず、以下のような仮想の潜在的結果データを想定します。青が施策なし、オレンジが施策ありの結果変数で、施策により平均的に20の差があるように作成しています(この”20”は、神のみぞ知る真の施策効果です)。青・オレンジ線はそれぞれの群の平均を表しており、その差がちょうど真の施策効果である20になっています。今回はサンプル数を5万件に設定しています。また、結果に影響を及ぼす0-1の外生要素も設定しています(IT資格の有無等)。

ケース1 施策のランダム割付がなされた場合

　施策がランダムに割付されている場合の効果検証結果を見てみます。今回はランダムに半分が施策の対象になるように施策を割付しています。下図は、上段が前述の潜在結果データ、下段は施策が割付され、観測された対照群(オレンジ)・比較群(青)のデータになっています(実際の分析者は、下段のデータしか見えていない状態)。上段は、本来観測できない仮想的なデータも含み、施策あり/なしそれぞれが5万件になっていますが、下段は施策の割付結果を踏まえて観測した(=データとして得られている)サンプルになっているため、対照群/比較群合わせて5万件になっています。下段の灰色点線はそれぞれ、上段の施策あり/なしの平均線になっており、(今回は線がほぼ重なっていて見えづらいですが)下段の青/オレンジ線はそれぞれ観測データのグループ平均を表しています。
　このようなランダム割付がされている場合、得られたデータで対照群・比較群それぞれのグループ平均を取りその差を計算すると、19.9と真の施策効果である20にかなり近い結果を得ることができ、これが施策の効果と言っても間違いがなさそうです。ランダム割付によって、対照群・比較群が施策以外は平均的に同じとみなせることによって、ピュアに施策有無による差だけを取り出せています。

ケース2 施策の割付がランダムでない場合

　一方、施策の割付がランダムでない状況において、グループ間の単純比較がどのような結果をもたらすか見てみます。今回は、結果に影響を及ぼす外生要素によって施策割付が影響を受ける状況を作っています。前述のITツール導入の例でいえば、IT資格がある社員に優先的に新ツール導入を進め、ツールによる生産性向上の効果を調べるような状況です。具体的には、外生変数が1の場合は80%、そうでない場合は20%の確率で施策割付をします。
　この状況で同様にグループ平均差を取ると今度は28.7と、真の効果よりも8.7(4割増)と大きく上振れた数値になってしまいます。これは割付がランダムでなく外部要素の影響を受けているがために、対照群(ツールを使っている人)はそもそも素養がある人が選ばれやすく、対照群と比較群が同じでなく、施策以外の効果も取り込んでしまっているためです(俗にいうApple to Appleの比較になっていない)。このようなバイアスのかかった結果を得てしまうと、(ツール自体の効果が0では無いにしても)ROI・投資判断に誤った示唆を出してしまいます。

おわりに

　今回は、DXを進める上での効果検証の重要性と正しい効果検証の条件に至らない場合、どのようなバイアスを生んでしまうかシミュレーションを通じて確認してみました。正しい施策効果の把握は、効率的なDXの推進・意思決定に欠かせないものであり、施策の検討・実現だけでなくその評価にもきちんと目を向けて取り組みを進める必要があります。

　正しい効果検証を進める上で重要なランダム化は単純ながら強力であり、ビジネスにおける効果検証においてもできるに越したことはありません。他方、ビジネスや施策の特性上ランダム化ができない状況も多く、実務で頭を抱える方も多いかと思われます。今回は、ランダム化されない場合における単純比較のNG例だけ示していますが、ランダム化されていない場合でも状況次第で打ち手があります。ランダム化できない場合にいかに仮定を置いたうえで何が言えるかをつみあげてきた分野が因果推論で、差の差分法、操作変数、不連続デザインなど様々なアプローチが活用されています。

　施策の効果測定は、単なる数値の追求ではなく、企業の未来を左右する重要な要素です。正確な効果検証を行うことで、無駄なリソースの浪費を防ぎ、最適な戦略を立案・実行することが可能となります。DXを進める中で、これらの効果検証の考え方・落とし穴をしっかりと理解し、適切に活用することが、成功への道を切り開く鍵となるでしょう。

Let’s Enjoy DX!