>シンプソンのパラドックスとは?図解&具体例でわかりやすく解説します2024-09-26TwitterShareHatenaPinterestLINEシンプソンのパラドックスとは、データをいくつかのグループに層別したとき、「グループごとに観察された相関関係が、データ全体でも同じように観察されるはずだ」という直感に反し、データ全体としては異なる相関を示すパラドックスのことです。...いきなり意味不明だと感じたかもしれません。この記事では、シンプソンのパラドックスについて図解・事例を用いてわかりやすく解説していきますのでご安心ください。最後まで読んでいただければ、データへの向き合い方が少し変わるかもしれませんよ。事例3:新型コロナウイルス(COVID-19)のワクチンが重症化に及ぼす影響まとめシンプソンのパラドックスとは?シンプソンのパラドックスの概要シンプソンのパラドックスとは、簡単に言うと「グループやセグメントごとに見たときの相関と全体で見たときの相関が逆転する現象」のことです。パラドックスとは、直感に反する現象だと考えていただいて構いません。言葉ではイメージしづらいと思うので、簡単な例を以下に示します。AとScoreBの相関関係を散布図で表したものです。組織は6つの班に分かれているとしましょう。上の図は以下のように読んでください。左図:班ごとの結果が識別できるよう、6色で表している。右図:組織全体の結果はを示している。グループ分けしていないので、単色で表している。各散布図内の破線(---):傾向線。左図では班ごとの傾向、右図では組織全体の傾向を示している。Bも高くなる)が異なることが見て取れるでしょう。このような現象を、シンプソンのパラドックスと呼ぶのです。▼相関関係については、以下の記事で解説しています。あわせてご覧ください。相関分析基礎|相関係数とは?意味・計算方法~Excelでの求め方までわかりやすく解説2種類のデータのあいだの関係性の強さを表す「相関係数」という指標があります。名前は聞いたことがあっても、その意味や計算方法については理解があいまいというケースが少なくありません。paradoxと表現されることからわかるように、シンプソンさんが発見した現象というのは想像に難くないでしょう。シンプソンのパラドックスは、統計学者エドワード・H・シンプソンが1951年に発表した論文で提唱した現象です。https://doi.org/10.1111/j.2517-6161.1951.tb00088.xその後、同じく統計学者であるコリン・R・ブライスが1972年に発表した論文において「シンプソンのパラドックス」と命名しました。実は、この現象を発見したのはシンプソンが初めてではありません。カール・ピアソンは1899年に、ウドニー・ユールは1903年に同様の現象を報告しています。このような背景から、シンプソンのパラドックスは「ユール=シンプソン効果」と呼ばれることもあるのです。事例を挙げてパラドックスについて説明しています。事例1:トランプの事例トランプは全部で52枚あります。そのうち、赤色のものが26枚、黒色のものが26枚あり、赤黒それぞれ20枚の数字(1~10のカード|Plain)と6枚の絵柄(Jack、Queen、King|Court)で構成されています。これら一組のトランプの中に、汚れたもの(Dirty)ときれいなもの(Clean)があるケースを想像してみてください。DirtyとCleanが下図のような割合で存在する状況です。図示すると以下のようなイメージですね。Dirtyなカードの場合、赤色はCourt(絵柄)の中に約57%、Plain(数字)の中に約62%含まれています。一方で、Cleanなカードの場合は、赤色はCourtの中に40%、Plainの中に約44%含まれています。見ると、赤色が偏在しているように見えます。全体で見るとどうでしょう?当然ながら、赤色はCourtの中に50%、Cleanの中に50%含まれます。この現象から得られる示唆は、「なんらかのグループ分けをして見たときの傾向と、全体で見たときの傾向は異なる可能性がある」ということ。次に、治療の有無と生存率との関係性を、男性・女性にグループ分けして調査した結果を示します。こちらも先ほどと同様に図示してみましょう。以下のようなイメージです。治療なし:約57%)。治療なし:40%)少し整理してみましょう。治療あり:約44%と逆転現象が起きるのです。男性、女性とグループ分けしたときには治療が生存に寄与するのに、全体でみると寄与しない。これがパラドックスです。interpretation)」を導き出す分析方法は、ケースバイケースで異なる、という示唆が得られます。事例3:新型コロナウイルス(COVID-19)のワクチンが重症化に及ぼす影響COVID-19ワクチンの重症化予防効果に関する統計において、シンプソンのパラドックスが観測される例をご紹介します。vaccinated?https://www.covid-datascience.com/post/israeli-data-how-can-efficacy-vs-severe-disease-be-strong-when-60-of-hospitalized-are-vaccinatedかいつまんで言うと、「一見すると、このワクチンは重症化予防に効果がないように見えるが、年齢で層別化すると効果があることがわかる」という内容です。重症化の人数を見ると、ワクチンの接種有無で重症化抑制効果は変わらない=ワクチンの効果はない、という結果に見えます。この結果には全体の人数が書かれていませんね。全体の人数を入力すると見え方が変わります。ワクチン接種者の方が全体の人数が多いため、重症化率という観点ではワクチン接種の効果が見られます。年代で層別したときは以下のような結果になります。50歳よりも高齢の場合、ワクチン接種有無による重症化率へのインパクトは大きいことが分かります。まとめデータセットを分割する場合、サンプル全体の相関と各グループにおける相関のあいだにズレが生じる可能性がある、ということを念頭に置いてデータに向き合う必要があるでしょう。交絡因子を適切に調整することによって解消することができるバイアスと捉えることもできますが、データだけで因果関係を判断できると過信しすぎないことをオススメします。TwitterShareHatenaPinterestLINEこの記事を書いた人みなもデータ分析に強くなるためのポイントを解説します。Excelを用いた統計分析や、テキストマイニングツール、BIツールの情報を中心にお届けします。