いまの英語力を整理フィリピン(バギオ)留学決めました。2023機械学習の勉強のために次の本を読んだ。振り返りのために内容を補完しつつ整理しておく。初期の素朴な自然言語処理プログラム(人工無能)「ELIZA(イライザ)」とその後開発された「PARRY(パリー)」は、会話を行い、その記録は「RFC439」として残されている。「ニューロン」は単純な数値予測を行うことができる予測器で、ニューラルネットワークの最初単位。ニューロンでは、入力に対して、重みとバイアスに基づいて計算したあと、活性化関数もちいて出力を行う。#「クラス(パターン)分類」と「クラスタリング」を混同しないように注意。クラス(パターン)分類:教師あり学習。設定したクラス(パターン)にデータを分類する。SVM(サポートベクターマシン)クラスタリング:教師なし学習。データからクラスタを抽出する。クラスタはデータから自動的に求める。次元削減(次元圧縮):データの情報を失わないようにデータを低い次元に圧縮する手法の総称。BMI」は2次元から1次元への次元削減である。PCA):データの特徴量間の相関を分析することでデータ構造をつかむ手法。特徴量の数が多い場合に、相関をもつ多数の特徴量から、相関のない少数の特徴量へと、次元削減することが主たる目的となる。ここで得られる少数の特徴量を「主成分」という。基礎集計:前処理よりもさらに前に行われる作業のこと。正規化(normalization):データを一定の規則に基づいて変形し利用しやすくすること。スケーリングすることを指す場合が多い。特徴量エンジニアリング:モデルが認識しやすい特徴をデータから作ること。「カテゴリカル変数(性別、髪の色、国籍などの何らかの種類を表す変数)」をカテゴリカル変数であるとわかる形に変換(encoding)することは特徴量エンジニアリングの1つ。いう形の特徴量に変換する。この形のことを「one-hot-encoding」という。特徴量エンジニアリング」の順に実施される。#回帰分析:説明変数は「手がかりとなる変数」、目的変数は「予測したい変数」。相関がないことを意味する。あり、マルチコと呼ばれている。近い)特徴量の組を同時に説明変数に選ぶと予測がうまくいかなくなる現象のことをいう。そのため、特徴量エンジニアリングにおいては、マルチコが発生するペアを作らないように、各ペアの相関係数を観察して特徴量を取り除く必要がある。パーセプトロンは、複数の入力データ(入力信号)に対して、一つの値を出力する関数のこと。単純パーセプトロンを使って解ける問題は、直線を使って分離できるものに限られる。このような問題を「線形分離可能」という。線形分離不可能な問題は、パーセプトロンを組み合わせて多層パーセプトロンにすることで解決できる。SVM(サポートベクターマシン)はマージンの最大化というコンセプトに基づくが、「スラック変数」を調整することで誤分類を許容することができる。このようなエンジニアが事前に調整する変数をハイパーパラメータという。エンジニアが事前に調整するものを「ハイパーパラメータ」と呼び、学習によって最適化する変数を「パラメータ」と呼ぶ、混同しないこと。個のデータを見て、それらの多数決によって所属クラスを決定するというもの。シンプルに実装できるアルゴリズムであるが、各クラスのデータ数に偏りがあると、判定結果が不正確になりやすい。#スカラ(Scalar)、ベクトル(Vector)、行列(Matrix)、テンソル(Tensor)「スカラー」「ベクトル」「行列」の積https://qiita.com/mucunwuxian/items/10cb0f014964446fa2a3「スカラー・ベクトル・行列・テンソル」の意味https://blog.apar.jp/deep-learning/12121/統計学は、得られているデータから法則性や知見を数学的に得る分野である。機械学習もある意味、統計学に含まれているということができる。統計学は次の2つに大別できる。記述統計:手元のデータの分析を行う。手元のデータについて、代表値を求めたり、傾向を分析するなど。推計統計:手元のデータの背後にある母集団の性質を予測する。#ニューロンの模式図ニューロンは、ニューラルネットワークの最小単位である。教師データを用いたディープニューラルネットワークの学習は次の流れで行われる教師データを用いて予測を行う。ニューラルネットワークを左から右へと順番に計算する(順伝播)。その予測値と正解ラベルを比較して誤差を計算する。これをいくつかの教師データについて繰り返し、その都度誤差を足し合わせる。累積された誤差の値が小さくなるよう、勾配降下法を用いて各枝の重みを更新する。/バックプロパゲーション)。勾配降下法:最も求めたいのは大域的最適解だが、勾配降下法で求めた値が大域的最適解なのか局所最適解なのかの判断はできない。そのためディープニューラルネットワークの学習においては、局所最適解が求められれば誤差はそれなりに小さくなるものと考え、妥協するスタンスをとっている。逐次学習:訓練データ1つに対して、重みを1回更新する。ミニバッチ学習:訓練データを分割したまとまりに対して、重みを1回更新する。このように実施する勾配降下法を「ミニバッチ勾配降下法」という。バッチ学習:訓練データすべての誤差を計算した後、重みを1回更新する。イテレーションとエポックが等しくなる。このように実施する勾配降下法を「(単に)勾配降下法」あるいは「バッチ勾配降下法」という。#過学習とは、訓練誤差が小さいにも関わらず、汎化誤差が小さくならない状態をいう。オートエンコーダ(自己符号化器)はエンコーダとデコーダからなるニューラルネットワークであり、入力層と出力層のノード数が同じで、中間層のノードがそれよりも少ないもののことをいう。正解ラベルとして自分自身を用いることにより、次元削減が得られる。隠れ層では入力層より次元(ノード)が減っているにも関わらず出力層ではもとの入力層の内容を復元できているということはつまり、隠れ層では特徴的な情報だけに圧縮できていることを意味する。入力層から隠れ層への処理をエンコードといい、隠れ層から出力層への処理をデコードという。RNN(再帰型ニューラルネットワーク)とは、内部的に閉路(あるいは再帰構造とも)を持つニューラルネットワークの総称である。Memory)の改良などがある。#形態素解析:テキストデータから文法・単語に基づき、言語で意味を持つ最小単位である形態素に分割し、その形態素の品詞を判定すること。自然言語処理のフローは一般的に次の通り。形態素解析を用いて、文章を形態素に切り分ける。データをクレンジングし、不要な単語などを取り除く。BoW(Bag-of-Words)などを用いて、形態素解析を行なったデータをベクトル形式に変換する。Frequency)などを用いて各単語の重要度を評価する。Word2Vec:単語をベクトルとして表現し、意味の近さや計算を行えるようにする仕組み。0.3)こうすることで、王様と女王の単語の距離の近さを表現したり、王様から男を除いて女を加えると女王に近くなるなどの計算が行える。マルチモーダル情報処理:ロボットにおいて、視覚(カメラ)・聴覚(マイク)・触覚(圧力センサ)などの異なったセンサ情報をディープニューラルネットワークで組み合わせて統合的に処理する仕組み。法などとは異なり、トピックモデルでは複数のクラスタにデータを分類する。名前の由来は、文章を潜在的なトピック(単語の出現頻度分布)から確率的に現れるものと仮定し、文章の分析を行う手法。各トピックの確率分布を推定することができれば、文章の傾向の分析や現れやすい単語の特定、次に予測される文章の形の予測などを行うことが期待できる。attack):データにノイズを混入させ、それにより人工知能の判断を誤らせる攻撃のこと。Network)」のほか、活性化関数に「k-WTA(k-Winners-Take-All)」の用いることも対策になるということが発見されている。音声認識:人間が話す音声から、その内容のテキストを生成すること。音声合成:テキストの内容から、人間が話す音声をを生成すること。音楽の範囲に属するもの」をいう。楽曲のすべてを自動生成した場合はその創作物に対して著作権は発生しない。部分的に作成したものを人間がつなぎ合わせて作った場合はそれをつなぎ合わせた人間に対して著作権が発生する。発明したものについては特許権は認められない。その他の事業活動に有用な技術上又は営業上の情報であって、公然と知られていないもの」と定義されている。以下の3要件を満たすものが営業秘密と解釈される。秘密管理性:その情報が秘密として管理されていること有用性:有用な情報であること非公知性:一般に知られている情報でないこと不正競争防止法における「限定提供データ」とは「業として特定の者に提供する情報として電磁的方法により相当量蓄積され、及び管理されている技術上又は営業上の情報」と定義されている。以下の3要件を満たすものが営業秘密と解釈される。Systems):自動的に攻撃目標を設定することができ、致死性を有する完全自律型兵器のこと。いうデータセットを使った一般物体認識のタスクにおける性能を競うコンペティションである。SVG(サポートベクターマシン)を遥かに凌駕する性能を叩き出した。年にチェスの世界チャンピオンを破った。このときはブルートフォース式に総当たりで指手を探索する手法だった。「データサイエンス」とは、データに関する研究全般を指し意味が非常に広い。機械学習はデータサイエンスの一手法として用いられる。AI)」と呼ぶことがある。SVM(サポートベクターマシン)は当初、2クラス分類のアルゴリズムとして考案されたが、多クラス分類をはじめさまざまなことに応用されている。「カーネル法」は決定境界を非線形にするための工夫であり、「カーネルトリック」は計算量を大幅に削減する工夫である。決定木:「条件分岐の繰り返し」と「情報利得の最大化(=不純度の減少量の最大化)」を繰り返すことにより分類あるいは回帰するための単純なアルゴリズム。単純であることから、データの前処理が少なく済んだり、データのスケールを事前に揃えておく必要がないことや、分析結果の説明が容易であるという利点がある。主成分分析の結果の「寄与率」を調べることで各成分の重要度がわかり、「主成分」を調べることで各成分の意味を推測することができる。アンサンブル学習とは、複数のモデルを作り、一般的に、分類問題には多数決を、回帰問題には平均を結果として採用する手法。ランダムフォレストは、大雑把にいうとバギングと決定木を組み合わせたもので、実務でも頻繁に用いられる優れたアルゴリズム。決定木の良さを引き継ぎつつも、過学習を起こしやすいという弱点を解消している。以外が並ぶデータのことをスパース(なデータ)と呼ぶ。スパースは日本語で「疎」の意味。次元の呪い:機械学習においてデータの次元が増えるごとにさまざまな不都合が生じやすくなるという法則性のこと。ハイパーパラメータのグリッドサーチ:事前に設定したハイパーパラメータの各候補に対して交差検証で精度を測り、最も精度が高かったハイパーパラメータの組みを最良のハイパーパラメータとして採用する手法。多数のモデルを作る必要があり計算量が多くなるが、実践ではよく使用されている手法である。ディープラーニングは複雑な関数の近似が可能であるという強みの一方で、過学習や勾配消失問題を起こしやすいことや、事前に調整すべきパラーメータ数が非常に多いという難点もある。ディープニューラルネットワークにおいて、勾配降下法を用いて重みを更新するとき、重みの更新幅はエンジニアが調整すべきハイパーパラメータであり、これを「学習率」という。