Toilを無くして徒然なるままに日暮し硯に向かひたいToilを無くして徒然なるままに日暮し硯に向かひたい読者になるToilを無くして徒然なるままに日暮し硯に向かひたい生成AIアプリケーション開発などを行うエンジニアのブログです。genai-users.connpass.com勉強会の資料です。Recognitionの略で、日本語では光学文字認識といいます。OCRとは何か?OCRは、スキャンした書類や画像に含まれる文字を、コンピュータが読み取り、テキストデータに変換する技術です。紙に書かれた文字をデジタルの文字に変えて、パソコンで編集したり、検索したりできるようにするものです。スキャナーやデジタルカメラで、文字が書かれた紙の画像を撮影します。画像のノイズ除去や歪みの修正など、文字認識を円滑に行うための処理を行います。画像から文字を一つずつ切り出します。切り出した文字を、事前に登録された文字のパターンと照合し、どの文字か判定します。認識された文字を、テキストデータに変換します。紙の書類をスキャンしてテキストデータに変換することで、電子化し、保管や検索を効率化できます。請求書や領収書などの文字情報を自動的に読み込むことで、データ入力の手間を大幅に削減できます。テキストデータに変換された文書は、キーワード検索が可能になり、必要な情報に素早くアクセスできます。OCRでテキストデータに変換した後に、翻訳ソフトウェアを使って他の言語に翻訳することができます。手作業でのデータ入力に比べて、大幅に作業時間を短縮できます。人による入力ミスを減らすことができ、データの正確性を高めます。人件費の削減につながります。紙の書類を電子化することで、保管スペースを削減し、環境にも優しいです。OCRの種類OCRには、大きく分けて以下の2種類があります。ソフトウェア開発者が、OCR機能を自社のアプリケーションに組み込むために利用するソフトウェアです。クラウド上で提供されるOCR機能で、APIなどを利用して簡単にOCR機能を導入できます。OCRの選び方OCRを選ぶ際には、以下の点に注意しましょう。どの程度の精度で文字を認識できるか。どの言語に対応しているか。どのフォントに対応しているか。どのファイル形式に対応しているか。有料か無料か、料金体系はどうか。CloudなどパブリッククラウドでOCR機能が提供されています。Geminiで使用することもできます。OCRの活用の幅が広がり、工数削減に役立ちそうですね。まとめOCRは、紙の文書をデジタル化し、業務効率化に貢献する便利な技術です。様々な分野で活用されており、今後もその重要性はますます高まっていくでしょう。Intelligenceという名の生成AIが搭載されるようですね。Watch・Macユーザとしては、引き続きiPhoneですかね。読者になる広告を非表示にするもっと読むコメントを書く2024-09-06生成AIにおけるベクトルインデックス生成AIにおけるベクトルインデックス:詳細解説ベクトルインデックスとは?ベクトルインデックスは、生成AIにおいて、テキスト、画像、音声などの非構造化データを、数値のベクトルに変換し、そのベクトル間の類似度に基づいて検索や推薦を行うための技術です。単語の並びだけでなく、単語間の関係性や文脈を数値として表現することで、コンピュータがより深くテキストの意味を理解できるようになります。高次元空間上のベクトル間の距離を計算することで、従来のキーワード検索よりも高速かつ正確に類似したデータを検索できます。テキストだけでなく、画像や音声などもベクトルに変換することで、異なる種類のデータを統一的に扱うことができます。テキストや画像などを、ニューラルネットワークなどのモデルを用いて数値のベクトルに変換します。変換されたベクトルを、効率的に検索できるようにインデックスを作成します。ユーザーのクエリをベクトル化し、作成されたインデックスから最も類似したベクトルを検索します。キーワードだけでなく、文章の意味に基づいたより精度の高い検索を実現します。ユーザーの興味関心に基づいた商品やコンテンツを推薦します。ユーザーの質問に対して、より自然な回答を生成します。画像の内容に基づいた検索や、類似画像の検索を行います。キーワードマッチングだけでなく、意味に基づいた検索が可能になります。テキストだけでなく、画像や音声など、様々な種類のデータを扱えます。大量のデータを効率的に処理できます。高次元空間での計算コストが大きくなることがあります。どのモデルを用いてベクトルに変換するかが、性能に大きく影響します。ベクトル表現が抽象的であり、人間が直感的に理解することが難しい場合があります。今後の展望ベクトルインデックスは、生成AIのさらなる発展に不可欠な技術です。大規模なデータセットへの対応、より高精度なベクトル化モデルの開発、そして、ベクトル表現の解釈に関する研究が進められていくことが期待されます。リスク評価や不正検知まとめベクトルインデックスは、生成AIの性能を飛躍的に向上させるための重要な技術です。様々な分野での応用が期待されており、今後もその重要性はますます高まっていくでしょう。詳しく知りたい場合は、以下のキーワードで検索してみてください。ニューラルネットワーク何か他に聞きたいことがあれば、お気軽にご質問ください。具体的な質問の例:特定のベクトルデータベースについて詳しく知りたいベクトルインデックスを構築する際の注意点ベクトルインデックスを生成AIの開発にどのように活用できるかこれらの質問に対して、より詳細な情報を提供できます。Cloudなんて出ているのですね。プロダクトとサービスに関しては、Geminiは学習済のようで、詳しいようです。読んで勉強したいと思います。OSSでSpeech-to-Speechができるようになる?arxiv.orgGPT-4oの進化系で、リアルタイム音声会話のできる生成AIがOSSで出たようです。github.comその名もMini-Omni。小型モデルでどうリアルタイム音声会話を実現したのか興味深いですね。リアルタイム、つまりSpeech-to-Speechで早く処理できるようになった、ということですね。論文を読んでみたいと思います。以下、AbstractをGeminiで訳してみました。言語モデルの最近の進歩は、大きな成果を上げています。GPT-4oは新たなマイルストーンとして、人間とのリアルタイム会話が可能となり、人間に近い自然な流暢さを示しています。このような人間とコンピュータのインタラクションを実現するには、音声モダリティで直接推論を行い、ストリーミングで出力生成できるモデルが必要となります。これは現在の学術的なモデルではまだ実現できていません。これらのモデルは通常、音声合成のために追加のTTSシステムに依存しており、望ましくない遅延が生じます。本論文では、リアルタイム音声インタラクションが可能なオーディオベースのエンドツーエンド会話モデルであるMini-Omniを紹介します。この機能を実現するために、テキスト指示による音声生成方法と、推論時のバッチ並列戦略を提案しています。この手法は、元のモデルの言語能力を最小限の劣化で保持するのに役立ち、他の研究がリアルタイムインタラクション機能を確立できるようにします。Talk」と呼んでいます。音声出力を最適化したモデルをファインチューニングするためのVoiceAssistant-400Kデータセットも紹介します。私たちの知る限り、Mini-Omniはリアルタイム音声インタラクションのための最初の完全なエンドツーエンド、オープンソースモデルであり、今後の研究に貴重な可能性を提供します。(EKS)がGitHubで公開されています。RunベースでUI付きの生成AIアプリケーションをさっとデプロイできるようです。私はまだ試せていないですが、是非とも触ってみたいですね。terraformでデプロイできる模様。コードも参考になりそうですね。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。