システム運用とは、サーバーやネットワークがトラブルで停止しないようにシステムを管理する仕事です。通常のシステムの場合、一度構築したシステムは変更しない限り正常に作動します。AIの運用では入力するデータが日々変化し、その変化するデータを基に学習を行いますので、指標を設けてAIの精度を評価する必要があります。この記事では、データドリフトとメトリック管理について詳しく解説します。物体検知AIではmAPを管理・運用しよう!まとめAIの運用とは?まずはAIの運用方法について基本を確認していきます。データ収集→前処理→モデリング→学習→デプロイ(実装)→モニタリング(運用)AIシステムの運用手順は、データ収集→前処理→モデリング→学習→デプロイ(実装)→モニタリング(運用)になります。この手順のうち、特に重要なのはデータ収集の部分です。鉄筋カウントの例でいえば、撮像対象が鉄筋の断面だけであることが理想的ですが、実際に現場に導入する際はどうしても鉄筋の断面以外のものがカメラの中に映り込んでしまいます。屋根の無い工場の場合は空がカメラに映り込みます。晴れている日に撮像した写真と曇りの日に撮像した写真では鉄筋の断面の明るさが異なります。工場であれば鉄筋以外の資材も背景に映り込んでしまう事もあるでしょう。通常のシステムであれば、システムが正常に処理できるデータを入力し、システムが処理できないデータは処理前のエラーとして表示されます。AIシステムのように、特に物体検知AIのように画像をデータとして取り扱う場合は、撮像内容が変化したり、取り扱うカメラの精度によっても変化した画像も学習対象のデータとして収集します。収集するデータが変化するとAIの精度が低下する収集するデータが変化すればAIの学習内容も変化するので精度が低下する可能性があります。通常のシステムとAIシステムの大きな違いは、入力するデータが変化すればシステムが動かなくなることです。ポイントAIシステムは通常のシステムと異なる収集するデータそのものが変化してもAIシステムは学習するデータが変化するとAIの精度が低下して機能しなくなるデータドリフトAIシステムでは収集するデータが変化するとAIの精度が低下することがわかりました。次に、データが変化することについて詳細に見ていきましょう。物体検知の場合、カメラの劣化による画質の変化や撮像環境の変化によってデータが変化する同じようにカメラを設置していても映り込むものが変化したり、作業者が位置をずらしてしまったり、光の加減で明るさが異なったりします。撮像対象の背景を統一するにはそれなりに機材が必要でコストもかかりますが、我々中小企業は開発費用を低コストに抑えなければなりません。その為、99.99%の精度を持つAIを開発目標とするのではなく、80%程度の精度のAIを開発し、AI以外の様々な作業ルールを工夫して運用していくことが必須になります。きめ細かにルールを決めなければ高精度を維持することはできない中小企業の場合は低コストでいかにAIを運用するかがポイントメトリック管理では具体的にAIをどのように管理すれば良いのでしょうか?AIを管理するにはAIの精度を更新するか否かの判断指標を設定することが必要になります。この判断指標はメトリクスやメトリックと呼ばれています。詳しく見ていきましょう。Indicator)ということがあります。単なる言い方の違いですので、特に気にする必要はありません。物体検知AIではmAPを管理・運用しよう!メトリックは経過日数に比例して低下していく為、閾値以下になったら更新するようにします。物体検知AIの例でいえば、mAPは数あるメトリックのうちの1つであり、KPIとなる重要な指標になります。