Learningのデータ+アノテーションに注目した本。良いことがいっぱい書いてある。前半がHuman-in-the-loopの学習戦略の話、後半がアノテーションの評価の話。今日は前半の紹介をします。後半はHuman-in-the-loopのイテレーションが回ってからでも良い。図表の引用は特に指定なければこの本から。デプロイなんでもかんでも学習データを追加するのではなく、学習に効果的なデータを抽出して、アノテーションを行い学習する。その結果を使って、また効果的な学習データを抽出する。Human-in-the-loopの学習をする前に、評価用のデータセットを作る。→Train、Val、TestでいうとTestにあたるデータセット。学習データのプールとは分ける。基本的にはランダムサンプリング。意図的にデータを選ぶとBIASが入ってしまう。本には最大4つの検証データが必要と書いてあるが、当面ランダムに選んだ1つの検証データで良い。大量の学習データ候補から、実際にアノテーションするデータを選ぶ。アノテーションにはコストがかかるので、できる限り学習に回して有効なデータだけアノテーションしたい。判断の境目にあるデータ。