PACMANエッジAIとは?ディー・クルーでは、エッジAI(IoT環境で動く人工知能)の研究を行っています。IoTデバイスでは通信負荷が高まるとデータ転送に遅延が生じるなど、問題が起き始めます。そこで、クラウド側に過度に依存せず、ローカル環境=エッジ側でセンシングー演算ーAI認識まで完結させて、レスポンス性能と通信負荷の低減を両立した環境にやさしいシステムを実現する。これをめざしてディークルーで現在研究しているのが、AI開発「エッジAI」です。アクセラレータを組込むという構想です。システムを作りたいと思っていまして、今研究を進めています。駐車場の空き監視AIを作ってみたきっかけ今日は、そのなかでも、映像認識のエッジAI研究プロジェクトの1つ「駐車場監視AI」をご紹介します。映像認識AIは例えば、今映像で映っているオブジェクト(対象物)が、人なら人、コップならコップといった具合に、「どこに、それがあるのか(ないのか)」を人工知能(AI)にリアルタイムに検出させる技術を用いて課題を解決する技術です。当社はIoTシステムの開発案件を多く手掛けており、駐車場に関したシステムも開発していました。駐車場に止める「車」はAIモデルが認識しやすいオブジェクト(対象物)であります。そこで、駐車場に設置したカメラから、駐車スペースの空きが分かる便利になると思い付き、AIによる駐車場空き監視システムを作ってみたので、少しご紹介したいと思います。今回のAIモデルの概要このプロジェクトのAIモデルについての概要を示します。入力イメージからのオブジェクト検出にFCNN(完全な畳み込みネットワーク)を用います。出力マスクを生成し、オブジェクトのおおよその位置を示します。AIモデルは、この出力マスクを使いオブジェクトの位置を特定、数えることができます。フレームワークを使用します。レートで実行されます。AIモデルの動作について作成したAIモデルの動作についてはYoutubeの動画にしましたので、ぜひご覧いただければと思います。次に、この映像で何が起きているかということをご説明します。AIモデルが、映像上で「車」と認識している位置に、白い四角を打っています。動画の上部(UPPER)駐車スペースと、下部(LOWER)駐車スペースの「Parked」(満)と「FREE」(空)数で、AIが認識した数を数えて、それぞれの値を変えています。AIが認識した駐車した車の数に合わせて、白い四角の数も変わり、これらの数字も刻々と変わっていくことがお分かりいただけるかと思います。映像がカクカクしているなとお感じかもしれません。これは、IoTならではの軽量システムでのパフォーマンスを維持するために、意図的にフレームレートを落としているからです。システム環境によっては、フレームレートを高め、AIモデルをそこに最適化することもできます。次回は、このAIモデル作成時の課題や工夫したポイントなどについてお伝えしようと思います。PACMAN技術愛好家でありプロフェッショナルです。人間の知性にとって時間のかかるタスクを自動化するのに役立ちます。介して、将来的にこの知識を組み合わせたいと考えています。ユキグマやわらかいセンサ、「ショッカクポット(POTU-001-1)」を使った、やさしいキーボードを作ってみよう!の5回目です。今回は、その4までで製作した装置を実際に指で触ってみて、装置のセンサ値の変化を確認してみます。CH2、12時にCH3、3時にCH4のが設置されています。1スポンジを押したときのセンサ値の変化まず、CH2→CH3→CH4→CH1の位置に合わせて、順に爪でスポンジを上から押し、それぞれのセンサ値の変化をグラフで確認。次に、各チャネルの間の位置を押した時の動作も確認しました。その様子を動画にまとめていますので、ご覧ください。想定通り、各チャネルの上を爪で押すと一番近くのチャネルのセンサ値が変化し、各チャネルの間を押すと、近いチャネルのセンサ値が変化しました。指に対するセンサの大きさのためか、設定した閾値を超えない程度ですが、他のチャネルの値も変化するため注意が必要そうです!そこまでは予測していたのですが、今回一番想定外だったのは、スポンジの表面を軽く触れるだけでもセンサ値が1mmほどと変化があったことです。予想していた以上に感度がよかった。逆に言えば、思った以上に「繊細」くんなのです。「どんな触れ方をしたかによって、どう反応させるか」この微妙な区別をつけるのが次のSTEPの課題になりそう、ということが分かりました。2スポンジをつまんだときのセンサ値の変化さて、取扱説明書によると「つまむ」動作の検出が可能ということで、センサの側面のスポンジをつまんだときのセンサ値の変化を確認してみました。スポンジの側面のいろんな位置をつまんでみて、センサ値の変化を記録してみましたが、爪でつまむと、おもしろいようにセンサ値が変化。各チャネルが「つまむ」動作を細かく判別することもわかりました。動画で見るとわかるのですが、左や上はつまみにくかったのか、センサ値が弱めだったので、右や下の時は、両手指(というか私の場合は爪です)でキューブをしっかりとホールドしながら操作しましたら、しっかりとセンサ値が反応したようです。側面の操作にしっかり反応を示す結果をみて、新たな入力方法を思いつきました!スポンジ側面を爪で刺すと反応する、といった入力方法。爪が伸びている前提ではありますが、これはアリかもしれません。爪で刺すと動くアプリって具体的にはまだよくわかりませんが、面白いので、このアイデアをどうするかも次STEPの課題にしたいと思います。今回は「やさしいキーボードを作ってみる」のセンサの動作確認を行いましたが、正常に動作してひとまず安心しました。誤判定しないように入力判定を持っていくかがポイントですが、これが曲者。思い切ってキャリブレーション機能もつけようかなあ。工作&モノづくり系好き女子。電子工作グッズは無地のメイクボックスに入れてお部屋の雰囲気を保ちます。ユキグマお待たせしました。今回、Arduino側には取得したセンサ値をシリアル通信でPCに送信するプログラムを実装しました。センサとの通信方法は同梱の取扱説明書に基づいて実装しました。書かれているのでわかりゃすい!しかも、説明書って長いことが多いのですが、こちらはたった8ページなので、すぐ読み終わりました。いろんな意味で私に親切なセンサ君です(笑)Arduino側のプログラム動作手順概要:さて、実装プログラムはおおむねこんな流れで動作しています。大きく困るポイントはなく、サクサクと実装を進められました。私にはとても扱いやすい、素直なセンサ君でしたね。あっ、今思い出しました。1点だけクセがありました。「CH1,CH4,CH2,CH3」となっているのですね。(下図で赤い字で示した部分です)頭の中でコードを考えているときCH1からCH4の順番であると勝手に考えていて、実際に動作させたとき少し焦りました。数字の順番にならんでいないので少しモヤっとしましたが、動かせばすぐに分かります。皆さん実装するとき、ここだけ注意してくださいね。工作&モノづくり系好き女子。電子工作グッズは無地のメイクボックスに入れてお部屋の雰囲気を保ちます。フランボワーズケーキに目がないです。ユキグマでは実際にハードウェアをつなげてみましょう。購入したセンサには付属のケーブルがついているのですが、コネクタの受け側が手元にないので、ケーブルの片側を切断し、Arduinoに接続できるように改造します!センサをGROVEのコネクタにはんだ付けしてGROVE-ベースシールドにつなげようと思ったのですが、Arduino用だけではもったいないのでピンヘッダにはんだ付けしました。久しぶりのはんだ付けで時間かかったのと、きれいにできなかったのは反省です。はんだ付けは、勘がにぶらないように定期的に練習しないとだめですね。!!付属のケーブルの色がすべて同じ色で区別がつかないので、コネクタ切断前に各線を間違えないよう、シールをはっておいて正解でした。貼っておかないとケーブルがまとまっているのもありどこにつながっているのか判別が難しいので、製作の参考にしてください。以上でハードウェアの準備が完了です。工作&モノづくり系好き女子。電子工作グッズは無地のメイクボックスに入れてお部屋の雰囲気を保ちます。フランボワーズケーキに目がないです。失敗するのが怖いので今回はなしにしました。届いたものを確認しましたが、問題なく動作しておりました。ちなみにこのスポンジの触感は、メイクに使用するスポンジに近かったです。UNOは社内にたくさんあるのでそれを使おうと思ったのですが、HIDデバイスとして使用するには一工夫が必要そう。Leonardoを使います。UNOでのHIDデバイス認識もやってみようと思います。PCGUIアプリ作成Arduinoの開発ツールにシリアルのコンソールがありますが、直感的に押したときの動作変化が分かりづらいので、GUIアプリで分かりやすくしました。普段だとFormアプリなどでシンプルなものを作成していますが、今回は見栄え重視を意識してWPFに挑戦です!ScottPlot.WPFはグラフ描画のライブラリですが、サンプルが公式に多く載っているので色々なグラフパターンを試しながら確認できました。キー入力判定時にも利用できるようにするため・グラフ描画時、閾値で色を変えることで直感的にその場で判別しやすい・横軸の幅を固定にすることでセンサ値の時間変化を分かりやすいセンサ値を確認する側の前準備はこれでOK!次は購入したセンサをArduinoに接続できるように改造を行います。工作&モノづくり系好き女子。電子工作グッズは無地のメイクボックスに入れてお部屋の雰囲気を保ちます。フランボワーズケーキに目がないです。ユキグマ手元がキラキラ、きれいだと気分が上がりませんか?私、仕事柄、どうしても手元を見がちなのでネイルで気分を上げています。忙しいときは明るい色にしたりなど、気分のバロメーターになっていたりして。爪が伸びてくるとタイプミスになりやすかったり、カチカチ音が気になったりとか。・アイソレーションキーボードを使用する(キーとキーと離れている)・キーストロークが浅いものを選ぶなどなど、検索で調べるとたくさんでてきます。同じように悩んでいらっしゃるようですね。疲れにくいキーボードに新色登場(マイナビウーマン)どれも素敵なので、すぐにでも解決したい!という方であれば、ご予算に応じたものを買ってしまうのもありです。「ネイルにやさしいキーボード、自分で作ります」これに挑戦してみたいと思います。電子工作には、自分なりのこだわりのポイントって重要です。今回はどうやって爪にやさしくするかです。私が、爪に触れる「素材」にこだわることにしました。「クッションのようなやわらかさ」でキーボードが爪を易しく受け止めてくれえれば、素敵だなーと。使ってみたいと思いたちました。これ、なかなか触感の良いセンサーなんですよー。こちら使用しながら、次回から、実際にネイルにやさしい、やわらかいキーボードを作ってみようと思います。QWERTYフルキーボードを考えていましたが、必要になるセンサの数を考えると「予算オーバー」なのでテンキーにします。工作&モノづくり系好き女子。電子工作グッズは無地のメイクボックスに入れてお部屋の雰囲気を保ちます。フランボワーズケーキに目がないです。