LearningであればNNの出力(softmax前or後)。Scoreだったり精度と呼んだりする。正解値の信頼度を100%として、モデルの出力との差を取る。2番目の信頼度の差をマージンとして計測。一つ目と二つ目の差が大きいと不確実性が減る。・確信度比率サンプリング一つ目と2つめの信頼度の比率をとる。0.125が不確実性。信頼度のエントロピーを計算する。他クラス分類の時はすべての出力を使う。このエントロピーを取って0.984を不確実性とする。層化サンプリング、代表点サンプリング、外れ値検出、異常検知とも呼ばれる。何も考えずにランダムサンプリングを行うと、BIASが増幅される可能性がある。どのデータが現在のモデルにとって未知なのかを特定する。特徴的でまだ学習していないデータを特定する。実世界のデータを使って、様々なデータが学習に含まれるようにする。Softmax前の値を取り出せるようにする。ReluよりもLeakyReluを使う。アノテーションしていないデータセットを、学習済みのモデルで推論する。各ニューロンのニューロンの出力に順位をつけ、その順位を外れ値の度合いとする。画像が10枚あり9番目であれば0.9とする。すべてのニューロンの外れ値度合いを平均し、その画像の外れ値スコアとする。イメージは入力1万枚くらい想定。モデルを適用したいドメインに最も近いデータを集めて学習する。同じモデルを違うカスタマー(特に産業界)に提供するとき有効。実世界のデータの場合、学習データはどうしても偏りがでる。例:英語のニュースが多いため、世界のニュースを集めると英語が多くなる。その国の人口やマスコミの数によって、ニュースの量が変る。複数のBIASが組み合わされ、交差BIASが発生する。データセットを属性に分け、その中からサンプリングを行う。例:各属性に対して、最小確信度サンプリングを行い、各属性からもっとも信頼度の高いデータを集める。各属性に対してクラスタリングを行い、外れ値データを集める。DeepLearningでは影響は少ないが、他の機械学習の場合はサンプリングで精度が変ってしまう可能性がある。アノテーションしていないデータを推論させてみて、確信度(Score)を基準に学習用データを選ぶ。確信度が高い物を選ぶと、元々分かっているデータなのでBIASが固定される欠点がある。確信度が低い物を選ぶと、誤検出が増え検出数が多くなってしまう。「ここは背景」と学習できるので有効。Segmentationもこれで良いと思う。アノテーションデータを自動で抽出、優先順位付けを行う。それぞれの目的が違う。評価データを使ったモデルの精度が上がらなくなったら終了。モデルの精度が上がらず、目標の精度に達しない場合は別のモデル、アルゴリズムを検討する。どのようなやり方をしても、データが増えるに従ってモデルの学習効率は下がっていく。→最初はどんどんよくなるが、段々精度向上が鈍化する。費用対効果が見せられると、継続するかどうかの判断がしやすい。精度を上げて行くためには指数的にデータを増やさないと駄目。最初は1ループ50枚で良かったとしても、さらに精度を上げるためには、100枚、200枚、500枚、1000枚と指数的に増やしていく必要がある。