動画配信システムは、音声はAACなどで不可逆圧縮されている場合が多く、音質が課題とされてきました。Extreme」を2020年に発表し、3年間で100公演以上の配信イベントで利用されてきました。Extremeの技術解説を行うとともに、製品発表後に実施された機能強化、ビジネス展開、および配信実績についてご紹介します。はじめに新型コロナ・ウィルスの世界的な流行により、2020年以降、インターネットによるライブ配信市場は大きく伸長しました。従来の動画配信プラットフォームは映像が高解像であっても、音声はAACなどで不可逆圧縮されている場合が多く、音質面で十分満足できるものではありませんでした。Extreme」を2020年9月に発表し[参考文献1]、同年11月に公開された「JASジャーナル」でも技術解説を行いました[参考文献2]。当記事を寄稿した時点では、機能も限定的で、配信実績は僅かに2公演しかありませんでした。Extremeの開発を継続し、市場のニーズや現場での運用実態に合わせて機能強化を図るとともに、積極的なビジネス開拓を行ってきました。その結果、現在までに国内で100公演以上の配信イベントで利用されるに至りました。Extremeの新機能やビジネス展開についてもご紹介します。Extremeのシステム概略図を示します。本システムは通常の配信システムと同様、配信会場に持ち込まれるライブ・エンコーダー、配信サーバー(プラットフォーム)、ストリーミング・プレイヤーの3つの要素から構成されています。Encoder」と名付けられたライブ・エンコーダーです。台で、映像と音声の取り込み、映像と音声の同期、動画フレーム変換、インターレース解除、エンコード、配信データの生成、配信サーバーへのアップロードまで完結させることができます。10パソコンに過ぎません。万が一、デバイスが故障しても、市場からすぐに代替品を調達することができるというメリットがあるほか、将来的には配信事業者(企業)ではなく一個人による配信も視野に入れることができます。動画配信の音質を向上させるには、ロスレスやハイレゾ・コーデックに対応するだけでなく、入り口から出口までの各ステップで音を適切に取り扱う必要があります。Extremeにおいて音質を担保するために実施している主なポイントについてご紹介します。外部オーディオ・インターフェイスへの対応ビデオ機器に搭載されているオーディオ入力端子よりも、オーディオ専用機器の方が、S/Nや周波数特性、クロック精度に優れたものが数多く存在します。ExtremeはSDIやHDMIのビデオ信号に重畳されたオーディオ信号(エンベデッド・オーディオ)以外に、USBオーディオ・インターフェイスなど外部オーディオ機器からオーディオ信号を取り込むことができます。Encoderのオーディオ入力装置として使用することができます。Soundcardを含む)など、配信現場の環境に合わせて、任意の入力インターフェイスを選択できる利点もあります。オーディオ・クロックを軸とした映像との同期ビデオ信号にオーディオ信号を重畳するには、両者をクロック単位で同期させる必要がありますが、ここにも音質的な問題が存在します。ビデオにオーディオを重畳する装置(エンベッダ)の内部では、オーディオ・クロックをビデオ・クロックからPLLで生成したり、オーディオ信号にASRC(非同期サンプルレート・コンバータ)を掛けることによって同期を実現していることが多いためです。Extremeでは、音声信号を無理に映像クロックと同期せずに、音質的に有利なフリーランで収録することを推奨しています。この状態だと映像と音声が徐々にずれていく「ドリフト」と呼ばれる現象が発生しそうなものですが、本システムには【図3-1】で示される独自の同期補正機能が搭載されているため、問題は生じません[参考文献3]。この機能は、システムに到達するビデオ信号のフレーム数とオーディオ信号のサンプル数を常に監視しており、1フレーム以上の差異が認められた場合は、ビデオ・フレーム側を間引くまたはホールドすることによってズレを即座に解消します。音声信号に映像を合わせる同期方法によって、音声は1サンプルも変化することなくビット・パーフェクトで配信されます。Codec)を採用しています。FLACは規格上最大655.35kHz/32bit×7.1ch音声までサポートしており[参考文献4]、現在では殆ど全てのウェブ・ブラウザで再生することができます。(ALAC)音声の配信にも対応しています。DSD信号の配信にも対応しています。1bit信号はサンプルレート・コンバータを通すとマルチビットになってしまうため、慎重に取り扱う必要がありますが、前述の「オーディオ・ファースト同期」機能がここで威力を発揮します。Losslessフォーマットで伝送します。1などDoP対応USB-DACにビット・パーフェクトで伝送することで、ネイティブ再生が可能です。EncoderにはSDIやHDMIのエンベデッド・オーディオや、外部接続されたマルチチャンネル・オーディオ・インターフェイスから任意の12chを選択し、サラウンド配信できるほか、最大4つのオーディオ・ストリーム(副音声)を同時配信する機能が備わっています。オーディオ・コメンタリーなど、多彩な配信を実現できます。同時配信されたオーディオ・ストリームは、ストリーミング・プレイヤーのGUIからユーザーが任意のものを選択して再生することができます。MPEG-DASHダイレクト・アップロード旧来の動画配信システムでは、映像と音声がライブ・エンコーダー内でH.264とAACに非可逆圧縮され、RTMPプロトコルで配信サーバーに打ち上げられます。ここで、配信サーバーはHLSやMPEG-DASHといったウェブ・ブラウザで再生可能な形式に変換した上で、視聴者に配信することになります。配信サーバーの入出力はどちらもH.264+AACなので、ここで映像と音声の劣化は発生しないように思いがちですが、実際はほとんどの配信サーバー内でデータの再圧縮(デコードと再エンコード)が行われ、映像も音声も劣化することが確認されています。【図3-4】は440Hzの矩形波を配信した時のライブ・エンコーダーの出力と配信サーバーの出力を比較したものですが、明らかな差が見てとれます。Extremeは、視聴者が受信して再生するデータそのものをライブ・エンコーダー内で生成し、配信サーバーはこれをパススルーする仕組みになっています。このため、ロスレス圧縮される音声が劣化しないのはもちろんのこと、映像もストリーミング・サーバー内での再圧縮を回避できるため、高画質なまま配信することができます。Player」が標準プレイヤーとして指定されています。これはウェブ・ブラウザ上で実行可能なJavaScriptベースのプレイヤーであるため、以下のようなアドバンテージがあります。ExtremeはOS標準のマルチメディア再生フレームワーク(「AVPlayer」、「ExoPlayer」)や、「VLC」を始めとするオープンソースのネイティブ・プレイヤーとの再生互換性も取れていますので、配信サービス独自のネイティブ再生アプリを開発することも容易です。5.6MHz×8chのビット・パーフェクト伝送を実現したことで、原理的に実現可能な最高スペックに達することができました。ここで音響面の進化が止まったわけではなく、2022年以降は立体音響の分野に開発を注力しています。Extremeの新機能である立体音響配信技術についてご紹介します。Listening)は、株式会社アコースティックフィールドが開発し、2014年より数多くのハイレゾ作品やTV放送で採用されているバイノーラル・プロセッシング技術です。市場にバイノーラル・プロセッサーはたくさんありますが、HPLは音楽再生を考慮した設計がなされているのが特長です[参考文献5]。Encoder(v1.10以降)は、オーディオデバイスから入力された信号に対して、リアルタイムでHPLプロセッシングを行い、ライブ配信することができます。Auro社が提供するイマーシブ・オーディオ・フォーマットです。Discやダウンロード配信サービスなどに利用されてきました。v1.12」(2023年11月リリース)からは、リアルタイム配信にも対応する予定です。Laboratoriesが開発した立体音響技術[参考文献7]で、他社類似技術に比べ、対応サービスやコンテンツ数、再生環境ともに最も充実しています。Plusが利用されています。Atmos配信が利用可能ですが、2023年10月現在、ライブ配信には対応しておらず、疑似ライブ、およびオンデマンド配信のみに対応しています。Extremeは専用アプリを提供せず、ウェブ・ブラウザ再生を基本としてきました。Atmosのウェブ・ブラウザ再生ができないことが分かっています。Android」というネイティブ再生アプリケーションをリリースしました。AtmosコンテンツをAndroid端末の内蔵スピーカーやヘッドホンで再生することが可能となります※2。配信プラットフォーム/サービス配信サービスを運用するには、配信エンコーダーやストリーミング・プレイヤーはもちろんのこと、配信プラットフォーム(配信サーバー、課金システムなど)が必要になってきます。当社が現時点で提供しているのは、配信エンコーダーやその周辺の配信技術のみであり、配信プラットフォームは配信事業者に別途ご用意いただく必要があります。Extreme配信を実現できるよう、国内の各配信プラットフォーマーとの提携を進めてまいりました。Extreme配信を手軽にご利用いただけるようになっています。Connection」との提携が実現したことにより、今後、米国や欧州での配信も増えていく見込みです。Extremeは現在でも業界随一のスペックを誇り、かつ導入障壁も低いため、過去3年間に多くのシーンで利用されてきました。Extremeの主な利用実績についてご紹介します。Extremeが利用されてきました。配信主催者のご要望に応じて、多種多様な配信が行われています。Showcase」の提供を開始しました。このサービスを活用して、東京藝術大学が「藝大ミュージックアーカイブ」のコンサート配信から選りすぐりの公演を高音質化し、「東京藝大デジタルツイン」のサイトにて順次公開しています。9.1ch音声で配信されました。Atmosで配信されています。Extremeを導入。当社と共同で「原音場の再現性に優れたアンビソニックスと、時間領域での再現性が極めて高いDSDとを組み合わせた技術」を開発し、配信という形で共有していく予定です。Extremeは2022年に、総務省の「タイ王国工業団地内におけるローカル5Gを活用したアプリケーション実証試験」でも利用されました[参考文献8]。タイランドの工場から、機械の動作音を8本のマイクで同時収集した非圧縮音声データ(192kHz/24bit)を、ローカル5Gネットワーク経由でクラウドサーバへ送信。クラウド上でAI分析することで、機械の稼働監視や故障予兆を検知し、予防保守によるコスト削減と保守作業の効率化、作業員の負荷軽減を目指したアプリケーションでした。Extreme発表より丸3年が経過しました。Extreme配信が実施されるようになってきました。AWS連携など、配信システムとしての魅力は3年前とは比べ物にならないほど向上しています。今後は海外でのビジネスを強化するとともに、バーチャル・リアリティなど、より高い臨場感が求められる分野に進出すべく準備を進めています。最後になりますが、弊社は2023年3月から日本オーディオ協会の正会員となりました。会員の皆様と共に、ハイレゾや立体音響をしっかりと盛り上げてまいりたいと考えておりますので、引き続きよろしくお願いいたします。Extreme』を開発。こうじ)2002年、株式会社コルグ入社。デジタル・シンセサイザーの開発を経て、2004年より1ビットオーディオの研究開発を開始。その成果物としてMRシリーズやAudioGate、PrimeSeat等をリリース。同社の新規技術や新機軸商品の開発を統括する。