見ると、クラスタの分け方はまだ不適当なようです。度、というように(3)(4)を何度も繰り返していきます。つのクラスタに分けることができました。平均法のアルゴリズムです。平均法はデータをクラスタに分ける際にはデータの重心が用いられます。平均法」という名前が付けられています。平均法は比較的シンプルなアルゴリズムであるため、使用する際に注意するべきポイントもあります。次元のデータなので可視化がしやすく、クラスタの分け方を確認しながらクラスタリングを行うことができましたが、いつも可視化できるとは限りません。(3)(4)の繰り返しの回数は何を基準にして決定すればいいのでしょうか。実は、代表点は最終的にどこかしらの位置に定まります。そのため、基本的にクラスタリングの状況を可視化しながらクラスタリングを行う必要は無く、代表点の更新をある程度の回数を行えばクラスタリングが完了します。つの点に注意する必要があります。代表点の更新を何回も行えば最終的に特定の場所に定まると述べましたが、その特定の場所が最適な位置とは限りません。実は最終的に収束する場所は、最初にランダムに決定した代表点の位置によって変化し、モデルの性能も上下します。平均法では、代表点の初期値を変化させながら何回もクラスタリングを行い、最も良い性能を示したモデルを採用することが必要となります。書籍には書いていませんが、モデルの性能が初期値に依存する問題を克服するために考案された「k-means++」という手法も存在します。気になる方は是非調べてみてください。代表点の更新を何回も行えば最終的に特定の場所に定まりますが、時間がかかってしまう場合があります。つの課題でもあります。乗歪み」を採用しています。乗の総和であり、次式で表されます。値の変化が小さくなったら代表点の更新を打ち切るという形になっています。平均法では何かしらの基準を設けて途中で打ち切ることが多いです。平均法についてご紹介しました。平均法の注意点についてもご紹介しました。algorithm)」という手法も登場します。近傍法は教師あり学習の分類手法という点で全く違います。近傍法について気になる方は是非書籍を手に取ってみてください。アルゴリズム」が登場します。この記事は、本書籍で扱われているトピックについて、クラウドエースのメンバーが独自の見解で補足説明を加えたものになります。「ベイズ推定」で回帰分析を行う手法を学ぶ。専門のシステムインテグレーターです。最先端の機械学習環境の活用について、豊富な知見を持つエンジニアがご要望にあわせて最適な形で技術支援をいたします。機械学習テクノロジーをご検討の際は、一度お気軽にお問い合わせください。クラウドエースについてさらに詳しく記載していますので、ぜひ合わせて御覧ください。分類アルゴリズムの評価方法こんにちは。クラウドエースのエンジニアの坂田です。内容を参考に、機械学習の裏にある数学的な理論をわかりやすく紹介していきます。昨今では、機械学習という技術がますます一般化されていますが、その分触れる事が少なくなった理論部分が、中井さんの書籍ではとてもわかりやすく解説されています。ここでは特に重要と思われるポイントを、章ごとに記事としてまとめています。「このような内容をもっと詳しく勉強したい!」と感じた方は、これらの記事を参考にしながら、中井さんの書籍を読んでいただければ、より深く掘り下げて理解を深めることができるでしょう。章で登場した最尤推定法を分類アルゴリズムに応用した「ロジスティック回帰」と分類アルゴリズムの評価方法について学んでいきます。ロジスティック回帰は最尤推定法を応用した分類アルゴリズムであるため、「ある事象が発生する確率」を得ることができます。犬と猫の画像の分類を行うタスクについて考えると、ロジスティック回帰モデルは犬(または猫)である「確率」を出力します。章で登場したパーセプトロンのモデルはデータのラベルを出力するのに対し、ロジスティック回帰はデータがそのラベルである確率を出力するという点があげられます。章ではロジスティック回帰だけでなく、分類アルゴリズムの評価方法についても学びます。分類アルゴリズムでは「しきい値」の設定が必要になります。しきい値とは、先ほどの犬と猫の分類の例においては、猫である確率が何%以上であるときに「猫である」と判断するのかという判定条件にあたります。複数の分類モデルを作成した場合、モデル同士の性能を比較する必要があります。曲線」について触れていきます。この記事では、ロジスティック回帰の仕組みに関する理論的な内容と、分類アルゴリズムの評価方法に関する実践的な内容についてご紹介します。ロジスティック回帰は最尤推定法を用いてモデルのパラメータを決定します。章の最尤推定法の解説記事はこちら)。ステップでモデルを決定します。ロジスティック回帰は最尤推定法を用いた手法なので、最尤推定法と同じ流れでモデルを決定します。ステップにならうと、最尤推定法は以下の方法でモデルを決定します。上記の流れでロジスティック回帰のモデルを作成していきます。種類のデータ(青色の丸とオレンジ色のバツ)を分類するというものです。求める関数はこの2種類のデータ(トレーニングセット)を分類する直線を表す1次関数で、次式で表します。とき、データの分割線が決定します。求めることがゴールです。最尤推定法を用いて求めます。そのためにまずは尤度関数を定義します。「尤度」とは、ある前提条件によってある事象(データ)が発生する場合、発生した事象から考えて前提条件を評価する指標です。発生する確率を示す「条件付き確率」です。「尤もらしい(理にかなっている)」と考えることができます。あるモデル(のパラメータ)を仮定したときに、「トレーニングセットがモデルから得られる確率」が尤度で、尤度の値を見ることでパラメータの良し悪しを判断することができます。θ(モデルのパラメータ)がパラメータである関数のことを指します。最尤推定法は、この尤度関数の値が最大値を取るときのモデルのパラメータを最終的なパラメータとして採用する手法です。それでは、尤度関数である「トレーニングセットがモデルから得られる確率の式」を定義していきます。青色の点について考えます。直線の位置にあると仮定したとき、「点が青色の点である確率」は分割線を直交する赤色の矢印の方向(右上)に行くにつれて大きくなり、矢印と反対方向(左下)に行くにつれて小さくなります。なめらかに変化します。対応させて、確率の分布を示すグラフを図4のように表すことができます。なめらかに変化するグラフは「ロジスティック関数」と呼ばれる次式で表すことができます。ロジスティック関数はロジット関数の逆関数です。ロジット関数とは、オッズ(ある事象が起きる確率と起こらない確率の比)に対数を取った対数ロジットの関数です。字(ギリシャ文字でシグマ)の形のグラフを描くことから、シグモイド関数とも呼ばれ、記号にシグマが用いられます。得られる確率は次式で表すことができます。特定の点ではなく、トレーニングセット全体で考えると、「トレーニングセットがモデルから得られる確率」は上式の積として次式で表せます。