誰でも利用できますか?スマートフォンサイトも計測できますか?どの機能から使うべきか迷っています。はじめとしたヒートマップ解析などを組み合わせて、現状のウェブサイトを分析することが必要です。さまざまな角度からウェブサイトの問題点を洗い出し、その部分の改善案を考え出してはA/Bテストを繰り返す、といったサイクルを繰り返す必要があります。以前、「A/Bテストの終わりを見極める!統計的有意差と仮説検定入門」という記事にて、A/Bテストの結果をどう見ればよいか、検定の方法とともにお伝えいたしました。多くの反響をいただいたのですが、改めてもっとわかりやすく書いてほしいとの要望がありました。今回は、「仮説検定」について、一緒に学んでいきましょう。1.初心者でもわかる仮説検定そもそも、仮説検定とは?仮説検定の目的は、母集団で仮定された仮説を、標本(母集団の一部分)に基づいて検証することです。仮説とのズレが誤差の範囲内なのかをみるのですね。仮説とのズレが何らかの意味を持つのならそのズレは「有意」であるといいます。文章だけでは、なんのことかよくわからないと思います。実際に、例をもとに説明していきましょう。例題)あなたには、今からコイン投げの賭けをできる権利が与えられました。表が出ればディーラーが勝ちで1,000万円をディーラーに払います。裏が出ればあなたが勝ちで1,000万円をディーラーからもらえます。コインはディーラーが用意したものとします。このコインを、30回投げるテストをしてみたところ、22回表が出ました。あなたは、この賭けをしますか...?このとき、あなたはどう感じるでしょうか?「30回のうち22回の表が出るくらいであれば、普通に起こりうるから、コインに仕掛けはないな」と思うでしょうか?「30回のうち22回も表が出るのは絶対におかしい。コインに仕掛けがあるに違いない!」と思うでしょうか?感覚ではどちらでも有り得そうです。吟味しないと、1,000万円を失うことにもなりかねません。数学的にしっかり考察していきましょう。帰無仮説と対立仮説もしコインに仕掛けがない場合、半分の確率で表か裏が出ます。表が出る確率をpで表すとすると「p=1/2」と書くことができます。逆に、コインに仕掛けがある場合は「p≠1/2」と書くことができます。H1」が正しいことを証明する、という方法を取ります。H1」が正しいのかを証明していきます。H0:コインに仕掛けがない」が正しいとすると、30回のうち22回表が出る確率は、となります。22回以上表が出る確率をすべて足し合わせると、となり、約0.8%と計算できます。コインに仕掛けがなければ、30回中に22回以上表が出る確率は約0.8%ほどとなります。これは、コインを30回投げるという試行を125回繰り返して、22回以上表が出るのがやっと1回あるくらいの確率です。H0:コインに仕掛けがない」が正しいとすると、今回のように30回のうち22回表がでるようなことはかなりレアなことのような感じがしますね。仮説検定では、レアなことは起こらない、という判断をします。H1:コインに仕掛けがあるは正しい」と判断できるのです。(注1)確率の計算方法30回のうち22回表が出る確率、というのをもう少し細かく説明します。いま、コインには仕掛けがないという仮説のもと計算していますので、1回コインを投げたときに表が出る確率は1/2です。次に、30回のうち22回表が出るのは何通りあるでしょうか。30回の試行のうち、表が出る試行番目を22個選ぶ選び方を考えれば良いですので、30C22と表すことができます。各試行番目に表が出る確率は1/2、表22個裏8個の順番の並べ替え方が30C22通りあるので、と表すことができます。Excelでは、簡単にこの値を計算することが可能です。関数を用いて、COMBIN(30,22)/2^30と表せます。H0について調べるのか?上記のように、実際の計算をしてみないと、レアなことかどうかが判断つきません。H1では、p≠1/2ですので、(注1)のように計算ができないのです。H1」の正誤を判断する手法を取るのです。0.008(0.8%)を「レアな事象」と判断しましたが、この判断は人によってブレが生じます。基本的には、有意水準10%(0.1)、有意水準5%(0.05)、有意水準1%(0.01)などがよく用いられます。以下のように設定していますね。p≠1/2」このとき、無意識で「コインに仕掛けがある=表が出やすくなっている」と考えてしまいがちですが、当然「表が出にくくなっている」可能性もあるわけです。今回は、「表が出やすくなっている場合(p>1/2)」のみを考えていたので、これを「片側検定」と言います。「表が出にくくなっている場合(p<1/2)」も含めて仮説検定を行えば、それを「両側検定」と言います。通常の検定では、両側検定を基本に考えます。H0を棄却するためには必要となります。今回の事象は「レア」だと言えます。今回の事象は「レアではない」と考えます。H1のどちらが正しいか(まだ)判断できない、ということになります。H0を棄却するかしないかの判断を誤ってしまう事がありえます。H0を棄却しないでいてしまう誤りを「第二種の過誤」といいます。本当はコインに仕掛けがあったにもかかわらず、仕掛けがないと判断してしまうことが「第二種の過誤」です。小さくすることで起こりにくくなります。自分で決めることができるので、第一種の過誤はコントロールが比較的容易です。それによって第二種の過誤を起こす確率は高くなってしまいます。「第一種の過誤を起こす確率」と「第二種の過誤を起こす確率」はトレードオフの関係にあり、有意水準を調整するだけでは、両方の誤りを減らすことはできません。調整することになります。仮説検定はあくまでも確率論であって、常に間違っている可能性を孕んでいます。判断であり、それが真実とは限らないということは常に頭に入れておく必要があります。4.まとめ今回は、コインの賭けの例をもとに、仮説検定の基礎を学んできました。A/Bテストでは、この仮説検定の基本をもとに、様々な検定手法でそのテスト結果が有用なデータかを判断することになります。先ほどの文脈を借りれば、第一種の過誤は「本当は効果のないパターンに効果があるとみなしてしまう」、第二種の過誤は「本当は効果があったパターンを効果なしとみなしてしまう」という事象になります。この過誤をできるだけ減らし、より効果のある施策を探していく作業が、A/Bテストなのです。最終的には、ツールに付属している信頼区間の表示や、無料で提供されている判定ソフトに判断を委ねても良いですが、どういうロジックで算出されているかを理解していないと、その分真実から遠くなる可能性があります。理解をしておきましょう。テストツールおすすめ11選。導入検討や他社ツールとの違い・比較について弊社のプロフェッショナルが喜んでサポートいたします。弊社のプロフェッショナルがコンサルティングいたします。今すぐお気軽にご相談ください。今すぐお気軽にご相談ください。10:00~19:00)今すぐお気軽にご相談ください。10:00~19:00)グラッドキューブは「ISMS認証」を取得しています。定めた企業の情報情報セキュリティマネジメントシステムの評価制度です。いますぐ無料でお試しください。トライアル終了後も無料でご利用いただけます。Reserved.サイト内の記事・写真・アーカイブ・ドキュメントなど、すべてのコンテンツの無断複写・転載を禁じます。Reserved.サイト内の記事・写真・アーカイブ・ドキュメントなど、すべてのコンテンツの無断複写・転載を禁じます。