LMがリリースされました。Colaboratoryでの実装方法について詳しく解説します。LMは、テキストと音声を自由に組み合わせることができるMeta初のオープンソースマルチモーダル言語モデル。LMは、音声認識、テキスト読み上げ、音声分類などの新しいタスクを複数のモダリティで実行できるように開発されました。LMの特徴は次の点です。従来のテキスト読み上げは、自動音声認識(ASR)で音声をテキストに変換し、その後テキストを生成し、最終的に音声合成(TTS)で読み上げるプロセスがありました。LMは音声とテキストを直接処理することで、この問題を解決しています。LMは、音声とテキストのデータを単語レベルで交互に学習する「インターリーブ方式」を採用しており、これにより異なるモダリティ間で自然な生成が可能になっています。LMには2つのバージョンがあります。音声モデリングに音声記号を用いており、標準的な生成タスクに向いています。ピッチやスタイルの記号を使用し、感情(興奮、怒り、驚きなど)を反映した音声を生成します。LMを実現している技術はSPIRIT-LMです。2ベースの事前学習済みのテキスト言語モデルをさらに音声モダリティに拡張したもので、音声とテキストのデータを単語レベルでインターリーブトレーニングすることで、より自然で表現力豊かな生成を可能にしています。SPIRIT-LMは、Few-shot学習にも対応しており、少ないサンプルでも新しいタスクを学習できる能力を持っています。これにより、音声分類や感情表現の生成といった多様なタスクにも適応できるのが特徴。PRESERVATIONベンチマークで、音声やテキストの感情表現を維持しながら生成も可能。これにより、感情豊かな音声やテキストの生成が可能で、表現力が求められる音声生成にも適しています。LMのベンチマークSPIRIT-LMの音声とテキストの理解力を評価するために、いくつかのタスクでテストされています。sWUGGYでは、音声における単語と非単語を正確に識別できるかどうかを評価し、sBLIMPでは、文法的に正しい文と間違った文を聞き分ける能力を評価。StoryClozeというタスクでは、短い物語の続きとして適切な結末を選ぶ能力が問われており、これはモデルが意味理解や常識をどれほど持っているかを表しています。MMLUは、テキストモダリティにおけるLLMの一般的な評価ベンチマークとして使用されており、音声分類タスクでは音声から意図を分類する能力を測定。参考:https://arxiv.org/pdf/2402.05755さらに、音声とテキストの生成能力を評価するためには、ASRやTTSといった評価も実施されています。ASRでは、生成された音声をテキストに書き起こし、元のテキストと比較して正確さを評価。TTSでは、入力されたテキストに基づいて音声を生成し、その生成された音声をWhisperといった最先端のモデルで再度テキストに変換し、正確さを評価します。PRESERVATION(STSP)ベンチマークが使用されます。音声再合成タスクでは、生成された音声が元の音声とどれだけ似ているか、特に表現スタイルやピッチの観点から評価されます。STSPベンチマークでは、感情が含まれた音声やテキストがプロンプトとして与えられたとき、モデルがその感情を保持したまま音声やテキストを生成できるかどうかが評価されます。参考:https://arxiv.org/pdf/2402.05755SPIRIT-LMにおける意図分類SPIRIT-LMでは、自然言語処理や音声認識において重要である意図分類についても評価しています。Rate)におけるパフォーマンスです。Shots)に対するそれぞれの評価タスクの性能の変化を視覚化。図を読み解くと、縦軸が精度やエラーレートを示し、横軸がモデルに与えられるショット数(モデルが見たサンプル数)を表しています。図からわかるように、意図分類の精度(紫線)はショット数が増えるにつれて向上し、安定した高精度に達します。ASR(赤線)とTTS(黄色線)はエラーレートが低下し、モデルがより多くのショットを見るにつれてパフォーマンスが向上する様子が示されています。そのため、基本的には商用利用不可です。研究目的であっても商業的な利益を得る目的や金銭的な報酬を目的とした使用は許可されていません。研究成果を商用目的で使用することも禁じられています。:https://github.com/yoheinakajima/babyagi-2o/blob/main/LICENSEなお、音声検索や高度な音声分類が可能なCLAPについて詳しく知りたい方は、下記の記事を合わせてご確認ください。WEELメディア事業部LLMリサーチャーの中田です。Pretraining)」を公開しました。colaboratoryで実装しますが、まずは使用許可を得る必要があります。LMのリクエストページがあるので、そちらからリクエストを送ります。参考:https://ai.meta.com/resources/models-and-libraries/spirit-lm-downloads/僕がリクエストを送った時は5分くらいで使用許可が返ってきたので、すぐに許可されると思います。GitHubページはこちらです。Colaboratoryでそのまま実行すると、エラーが頻発してうまく動かない場合があります。いくつか注意点があるので、参考にしてください。RAMの使用量14.6GB■システムRAMの使用量3.9GBまずはコードを紹介しておきますクローンから必要ライブラリのインストールをするまでは少し時間を空けた方がいいかもしれません。colaboratory上でspiritlmフォルダが反映されるのに少し時間かかります。spiritlm_expressive_7b.zip※ここからが注意点ですspiritlm_base_7bとspiritlm_expressive_7bのダウンロード終了時に以下のように聞かれます。n」で回答してください。「Y」と答えていたら、インストール済みのライブラリを適切に読み込めなくなってしまいました。次に、/content/checkpoints/speech_tokenizerを/content/spiritlm/checkpointsに移動します。しないと以下のエラーが出てしまうので注意してください。‘/content/spiritlm/checkpoints/speech_tokenizer/hubert_25hz/mhubert_base_25hz.pt’この二点に注意すれば、スムーズに実装できます。LMではcontentに入力したテキストがそのままの形で忠実に音声として読み上げられるというより、モデルが学習した知識や推論に基づいて、適切な形式で音声を生成します。そのため、入力テキストが正確にそのまま音声になるとは限りません。content="おはよう。output[0].content)files.download("generated_speech.wav")contentを日本語にしても日本語では喋ってくれないようです。次に感情を込めて喋ってもらいます。output[0].content)files.download("generated_speech.wav")このように指示を与えると、入力したテキストに続く音声を生成してくれそうですね。1.4について詳しく知りたい方は、下記の記事を合わせてご確認ください。本人が話しているかのような自然な音声生成、8言語への対応、感情や抑揚の豊かな表現力など。colaboratoryでの実装方法をお伝えしました。GitHubのコード通りだと、エラーが出てしまったりするので、本記事を参考に実装してみてください。contentに指示を入れてから、何を生成するかはわからないのとまだ日本語に対応していないことから、日本で普及するのはまだもう少し先かもしれませんね。LMを実装してみてください!最後にいかがだったでしょうか?マルチモーダルAIを活用することで、企業はこれまでにないレベルの自動化やパーソナライゼーションを実現し、競争力を強化できます。・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタントなどの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。