APIはリアルタイムで音声を使ったマルチモーダルな体験をアプリケーションに組み込むことが可能です。Modeと同じように、自然な音声対話を実現し、6つのプリセット音声をサポートしています。APIを活用することで、言語学習アプリやカスタマーサポート用のAIアシスタントなど、ユーザーとの自然な会話をリアルタイムで行うことが可能になるでしょう。APIについて基本事項から活用方法について具体的にご紹介します。本記事を最後まで読むことで、新たな技術を活用した「新・AI仕事術」を体得できるはずです。最後までお読みください。APIは、リアルタイムで音声を使ったマルチモーダルな体験をアプリケーションに組み込むことを可能にするAPIです。従来の音声アシスタントを作成するには、Whisperのような自動音声認識モデルで音声をテキストに変換し、そのテキストを言語モデルに渡して推論を行い、最後にテキスト読み上げモデルを使ってモデルの出力を再生する必要がありました。これまでのアプローチでは、感情や強調、言葉のアクセントが失われやすく、また、音声の遅延が発生することがよくありました。APIは、これらの問題を解決するために設計されています。APIは、音声入力と出力をリアルタイムにストリーミングすることで、より自然で遅延の少ない会話を実現します。APIは従来の音声アシスタントに比べて、よりスムーズな会話が可能というメリットがあります。従来の音声アシスタントでは実現できなかった、「会話の流れ」も理解できます。そのため、会話の中断にも自動的に対応可能。ユーザーが話している途中で言葉を遮ったり、質問を挟んだりしても、自然な形で会話を続けることができるのです。APIは、新しいGPT-4oモデル「gpt-4o-realtime-preview」によって強化されており、テキストと音声の両方の入力を処理し、テキスト・音声、またはその両方でレスポンスを返せます。機能呼び出しもサポートしており、音声アシスタントがユーザーのリクエストに応じてタスクを実行したり、情報を取得したりすることが可能です。ユーザーに代わって注文したり、関連する顧客情報を取得して応答をパーソナライズしたりできます。APIはWebSocketを用いて持続的な接続を確立することで、ユーザーとの音声やテキストベースの会話をリアルタイムで処理。APIとの間で、双方向のデータ通信が途切れなく行われます。通常のHTTPリクエストはリクエストとレスポンスが一回限りですが、WebSocketは一度接続を確立すると、その接続を維持したまま、サーバーとクライアントの間でリアルタイムにデータを送受信できます。これにより、例えば、音声入力をリアルタイムで処理し、即座に音声やテキストの応答を返すといった、双方向の会話が可能です。WebSocketを用いることで持続的な接続が可能になるので、各リクエストごとに新しい接続を開く必要がなく、データの送受信が迅速に行われます。これにより、音声ベースの会話がスムーズで遅延の少ないものになります。APIの料金は次の通りです。$0.24OpenAIのTTSにWhisperがありますが、WhisperのAPI料金は音声ファイル1分につき、0.006ドル(約0.86円)そのほかCoqui.aiの使用料金は、プランがいくつかに分かれていますが、最も安いHobbyistプランだと月額$5で3,600クレジット。1分で120クレジットを消費しますので3,600クレジットだと30分の音声生成を行うことができます。APIはその他のTTSモデルに比べるとやや高めの値段設定になっていると感じます。APIを使うようです。2024GitHubのIssueにも同様の問題が投稿されており、ロールアウトの遅延が原因のようです。APIのベータ版はすでに提供されているようですが、ベータ版を最終的な開発に使用するべきではないとGitHubに記載されています。参考:https://github.com/openai/openai-realtime-api-betaPlayGroundはOpenAIの公式サイトから飛ぶことができます。APIにアクセスできません)」と記載が出ます。参考:https://platform.openai.com/playground/realtimeただ、左側にあるTTSをクリックして、チャットボックスにテキストを入力、「Generate」をクリックすることでTTSを使うことができます。Personalでは使えないと書かれていましたが、API料金を支払っているとAPIを使って使用できるようです。実際に音声を出力した後のUsageを確認すると、しっかりAPI使用になっていました。OpenAIのAPI料は従量課金制から前払い方式に変更になっているので、実際に使ってみる場合には前払いをする必要があります。APIを試してみたいだけって場合には、5ドル支払えばOKです。自動課金が有効になっているケースがあるので、APIを使う前に自動課金をオフにすることを忘れずに!参考:https://platform.openai.com/usage/activity非常に流暢に喋っており、とてもAIが話しているとは思えません。電話越しでこの感じで話をされると、喋っている相手は人間だと錯覚するレベルです。APIはインタラクティブなやり取りを音声を用いて行うことができます。この特徴を最大限に活かせる活用事例をいくつか考えてみました。言語学習アプリ現在も言語学習アプリにAIモデルが搭載されているものはいくつもあります。APIを使えば、ユーザーがリアルタイムかつ感情や強調、言葉のアクセントが失われずに言語学習に取り組むことができるようになるでしょう。ユーザーが実際に学習言語で質問を投げかけると、即座にAIがその言語で適切に返答します。APIはそれに対応し、自然な会話を行うことができるようになり、実際に人と話しているような体験をしつつ第二言語を学べるようになるのではないでしょうか。カスタマーサポートリアルタイムでのレスポンスが必要な仕事にカスタマーサポートがあります。コールセンターなどのカスタマーサポートでは、その場でのやり取りが必須。APIを利用して、即座にAIが質問に答えたり、必要なサポート情報を提供したりできます。リアルタイムでの応答が可能なため、会話がスムーズで、顧客満足度の向上が期待できるでしょう。APIを活用するのがいいかもしれません。APIを組み込むことで、音声で家電を操作したり、天気や予定を確認したりできます。ユーザーが「今日の天気は?」と尋ねると、すぐにAIが音声で天気を教えてくれます。会話の流れも自然に続くため、ユーザー体験が向上するでしょう。本人が話しているかのような自然な音声生成、8言語への対応、感情や抑揚の豊かな表現力など。APIについて紹介をしました。これまでのTTSモデルに比べるとかなり流暢であり、音声のアクセントがしっかりとついており、とてもAIが話しているとは思えません。APIがリリースされた直後であり、アプリケーションへの応用などはまだ発表されていませんでした。APIを活用したアプリケーションやWebサービスなどがどんどん増えてくることが予想されます。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。