2024-10-30WEELメディア事業部LLMリサーチャーの2scです。2024年10月8日、天下のMicrosoftがUIを分析してくれるAIツール「OmniParser」を公開しました。このOmniParserはGPT-4V等と組み合わせて使うツールなのですが、なんと端末やプラットフォームを問わずUIの位置と意味が把握できちゃうんです!参考:https://microsoft.github.io/OmniParser/参考:https://microsoft.github.io/OmniParser/Xでの投稿のいいね数は、すでに3,000を超えており、今後の展望に期待が寄せられています。2024この記事ではOmniParserの使い方や、有効性の検証まで行います。本記事を熟読することで、OmniParserの凄さを理解し、業務自動化に役立てられるかもしれません。最後までご覧ください。「OmniParser」はMicrosoftが開発したUI(ユーザーインターフェース)分析用のAIツール。GPT-4V等のマルチモーダルLLMと組み合わせることで、UIのスクリーンショットに含まれる各要素(アイコン・ボタン・タブ...etc.)の意味を正確に捉えてくれます。このOmniParserのすごいところとしては、下記のとおりです。OmniParserのすごいところUIを独自の構造化データに変換、HTMLコードやビュー階層に惑わされず見たままを分析可能UI内の各要素を検出する能力に優れていて、各要素の位置と意味を把握可能(その後の操作にも反映可)GPT-4Vの他、Phi-3.5-VやLlama-3.2-VといったマルチモーダルLLMとの連携に対応ScreenSpotやMind2Web、AITW等のベンチマークで従来型のGPT-4V搭載エージェントを凌駕Mind2Web:HTMLコードの分析に特化したAIエージェントに勝利AITW:Androidアイコンの検出に特化したAIエージェントに勝利そんなOmniParserは端末やプラットフォームの種別を問わず適用可能で......参考:https://microsoft.github.io/OmniParser/参考:https://microsoft.github.io/OmniParser/以上のとおり、UI中各要素の位置と意味を捉えてくれます。ライセンスへのリンクまたはURL」の明記が必要。その際には、下記のクレジット表記を添えておきましょう。Awadallah},year={2024},eprint={2408.00203},archivePrefix={arXiv},primaryClass={cs.CV},url={https://arxiv.org/abs/2408.00203},}なお、MacのUI操作に特化したAIエージェントについて詳しく知りたい方は、下記の記事を合わせてご確認ください。Framework」の概要や使い方を解説します。AIの力で業務...OmniParserの使い方ここでは、GitHubのREADMEで紹介されているOmniParserの使い方をお見せします。requirements.txt続けて下記を実行し、OmniParserのチェックポイントファイルをダウンロードします。https://huggingface.co/microsoft/OmniParserここでダウンロードしたファイルについては、以下のとおりweights/フォルダに配置してください。`weights/icon_caption_blip2`今度は下記も実行して、モデルのsafetensorファイルを.ptファイルに変換しましょう。weights/convert_safetensor_to_pt.pyあとは以下のコードを実行することで、GradioによるOmniParserのデモ版が使えるそうです。gradio_demo.pyOmniParserのデモ動画については、以下です。参考:https://microsoft.github.io/OmniParser/参考:https://microsoft.github.io/OmniParser/以上のとおりとなっています。当メディアで検証・確認を行なっていないため、この方法で動かないかもしれません。colaboratoryでうまく実装することができません。Faceからモデルをダウンロードします。ここでダウンロードしたモデルのフォルダ名が「OmniParser」になっており、次にGitHubからクローンする際にフォルダ名が被ってしまいエラーになるので、「OmniParsermodel」などと名前を変更しておきましょう。https://huggingface.co/microsoft/OmniParserモデルのダウンロードが完了したら、GitHubからクローンします。https://github.com/microsoft/OmniParser.gitこれで「OmniParser」と「OmniParsermodel」の二つがcontent内にあることになります。したら次にweights/フォルダにそれぞれを配置します。「weights」は「OmniParser」内にありますので、そこに配置しましょう。function.']いろんな有名サイトのトップページをOmniParserで解析image_path以外は前述したものと全く一緒なので割愛をします。characters.']参考:https://www.instagram.com/?locale=ja_JP見たままのUIを分析・操作できる「OmniParser」Microsoftの「OmniParser」なら、端末やプラットフォームを問わず、UIの位置と意味の把握が可能。GPT-4Vを筆頭にさまざまなマルチモーダルLLMとの連携にも対応しているので、今後の活躍に期待がもてそうです。実際、日本国内でも、SNSで注目を集めている様子。個人的には、InstagramやTikTokと組み合わせてSNSマーケティングに活用できるんじゃないかと予想しています。2024最後にいかがだったでしょうか?OmniParserの活用で、UI分析と業務自動化が一層手軽に。OmniParserの詳細を知り、具体的な導入事例や応用方法について深掘りしていきましょう。・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタントなどの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。大学時代はアリの生態を研究。ラボで唯一、Pythonを使ってデータ分析を効率化していた。現在はライターとして、オウンドメディアや学術記事の執筆に当たっている。総合病院で10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。