情報処理学会研究報告
����������������������
ローカル・ラグ制御を伴うマルチメディア伝送サーバの構築
�大崎 美穂
概要：コンピュータに支援される協調的作業の実現に対する要請が高まる中で，高い品質をもつマルチメディア情報提示技術の開発が関心を集めている．そのような情報提示を実現するため，特に，大型液晶
ディスプレイやビデオカメラ，ラウドスピーカ，マイクロホンなどの多数のマルチメディア機器を部屋型の空間に配置する“������” のために，音声データと映像データを同期的に伝送することができるマルチメディアデータ伝送サーバを開発する．本サーバ中の音声伝送モジュールは，知覚レベルの遅延の知覚
を低減することを目指すローカル・ラグ制御機能を持ち，映像伝送モジュールは，複数のディスプレイ間の映像データの同期機能を持つ．その開発においては，映像伝送モジュールが，その厳密に定義されている計算手順の存在に基づいて，マルチメディア同期における基準として用いられている．また，音声伝送
サーバにおけるリングバッファに関わるデータ入出力を可変長の複数データブロック単位とすることで，その音声伝送の動作安定性を高めている．体系的な評価実験の結果，開発したマルチメディアデータサーバは，��� ×��� ピクセルから���� ×���� ピクセルにわたる広範囲の映像データサイズと��� バイトなどの種々の音声データブロックサイズにおいて，安定的に動作することが確認される．
キーワード：同期的協調作業，ローカル・ラグ法，マルチメディアデータ伝送システム
�����������
���������������
����������
���������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������
�������������������������������������������������������������������������������� �����������
��������������������������������������������������������������������������!��������������
����������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������� ����
�������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������
������������"�����������������������������������������������������������!��������������������
������������������������������������������������������������������������������������������
������#����$��������������������������������!�������������������������������������������������
��������������������������������������������%&'!&('��!�����)*+'!)+('��!�������������
��������������������������,)+������
������������������������������， -��������������，.�������������������������
��はじめに
近年のコンピュータの目覚ましい進歩等に基づき，マル
チメディアデータをリアルタイム的に扱うことを可能とす
るメディアデータ伝送・処理システムが普及しつつある．
そうした中で，遠隔地間をつないで協調作業を行う場を提
�同志社大学大学院 理工学研究科
��������������������������������������������������
�������
供し，さらにそこでの利用者にとっての同室感あるいは高
臨場感を高めることで協調作業を支援する遠隔コラボレー
ションシステムへの関心が高まっている．遠隔地間でリア
ルタイム性を損なわず同期的作業を行う際，そこにはディ
ジタルネットワークを経由するために生じる不可避な通信
遅延が存在し，それはしばしば，同期的作業の大きな妨げ
となる．このような問題の解決を目指し，筆者の一部は，
自然な協調作業にとって欠かすことができない音声メディ
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
アと映像メディアに着目し，それらの知覚レベルにおける
遅延あるいは同期のずれの減少を目指すラグ制御機能を
持つ音声伝送サーバと映像伝送サーバの開発を行ってき
た�������������������．
音声伝送サーバに関する研究は，まず，映像データを共
有する同期的協調作業をローカル・ラグの導入によって支
援する考え方を参考に，音知覚における同期のずれの軽減
を目指すローカル・ラグ制御機能を持つ音声伝送サーバの
開発から始められた���．しかし，そのサーバは遅延量制御
の精度が十分でなく，また� 地点間接続のみに対応してい
るなど，機能は必ずしも満足できるものではなかった．そ
こで，その制約を改善することを目指し，それまでと全く
異なる（サーバ内部におけるデータ処理のためのバッファ
リング等の機構）アーキテクチャを持ち，かつ多地点接続
に対応できる新しい音声伝送サーバが開発された���．し
かし，評価実験を通してその新しいサーバの基本的性能や
有用性は示されたものの，遅延等の測定時間が短く，かつ
サーバ内部の計算処理に伴う遅延量もまだ小さくなく，さ
らなる改善が求められていた�������．こうした状況を受
け，音声伝送サーバはさらに改善され，今では，音データ
の入出力に伴う高い精度のブロッキング制御が可能な��
上で，処理の優先制御機能も持つサーバとなっている���．
一方，映像伝送サーバは，上述の新しいアーキテクチャ
を持つ音声伝送サーバを基盤として開発が行われた���．た
だし，音声伝送サーバと異なり，自地点において発生され
る映像データにラグを付加して表示する必然性は低く，こ
のサーバでは，複数の遠隔地点から送られてくる映像デー
タを同時に表示する際の映像間の同期をとることにラグ制
御機能はふりむけられた���．
上述したように，音声伝送サーバは映像伝送サーバにも
展開され，協調的作業を行う際の主たるメディアであるも
のと思われる視聴覚メディアのデータを，ラグ制御機能を
伴って伝送・処理をする手段が整いつつある．しかし，そ
れぞれの伝送サーバは，別々のプロセスとして開発された
ものであり，同時に使用する際には，両サーバの処理開始
時刻合わせや，各メディア間の同期を取ることは困難で
こうした状況を受け，本稿では，これまでの音声伝送
サーバと映像伝送サーバを一つに統合した，新しいマルチ
メディア伝送サーバの構築を行い，その性能評価を行う．
なお，この統合に際しては，まず，新サーバ内にメディア
間の同期機構が必要かどうかを検討し，仮に必要である場
合には同期機構を実装，そしてさらに，その性能評価実験
を行っていく．視聴覚メディア間の同期機構の実装に関し
ては，音声メディアと映像メディアのどちらを基軸にする
かが検討されるべきである．これは，評価実験において安
定的なデータ出力動作を行えるメディアデータを統合の基
軸とするようにする．
図�遠隔合奏における
音声データフロー．
�����������������
����������������．
図�遠隔合奏にローカル・ラグ制御
を用いた音声データフロー�
����������������������
���������������．
��ローカル・ラグ制御を伴う音声伝送サーバ
���ローカル・ラグ法
図� のように，離れた地点� と� における遠隔合奏を想
定する．地点� で演奏者が演奏した音データがネットワー
クに送出される際，地点� の演奏者自信が聴く音をフィー
ドバック音と呼び，ネットワークを介し，地点� の演奏者
が聴く音をフィードスルー音と呼ぶ．この時，地点� から
送出される音データはネットワークの通信遅延を伴って地
点� に到着する．地点� の演奏者はこの遅延量の乗った
音データに合わせて演奏する．つまり遅延量の分だけ演奏
自体は遅れてしまう．また地点� から伝送される音データ
は，ネットワークの通信遅延を伴って地点� に到着する．
ここで，さらなるネットワーク通信遅延分に合わせるよう
に地点� の演奏者は演奏を遅らせる．こうした事象が繰り
返され，両地点の演奏者が聞く相手の演奏音のずれは次第
に増大し，やがて演奏は破たんしてしまう���．
そこでローカル・ラグ法を適応し，各地点の演奏者がと
もに同タイミングで同期的に音を聴くことができるよう
に，ネットワークの通信遅延と同量の遅延（ラグ量と呼ぶ）
をフィードバック音に加える（このラグ量が付加された
フィードバック音をラグ・フィードバック音と呼ぶ）．図
� は遠隔合奏にローカル・ラグ法を用いた場合の音声デー
タフローである．図� のように演奏者は自身の演奏音を
ラグ・フィードバック音としてラグ量分遅れて聞くことに
なるが，合奏者同士の聴取のレベルにおいては同期の確保
が可能となる．前小節の遠隔合奏の破たんの問題に対し，
ローカル・ラグ法の適用は，演奏地点のそれぞれにおいて，
演奏者自身の演奏音と遠隔地から届けられる演奏音との間
のネットワークの通信遅延に伴うずれを取り除くことで演
奏の破たんの防止を目指す���．
���サーバの概要：構成
ローカル・ラグ制御を伴う音声伝送サーバは，図� の
ように音響サーバと同期制御サーバから構成される．音
響サーバは，マイクロホンから音データを取得する機能，
ネットワークを介した音データの送受信機能，音響サーバ
間のネットワークの遅延を計測する機能，ラグ量を付加
し音データを出力する機能を持つ．一方，同期制御サーバ
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
図�音声伝送サーバの構成例�
��������� ���������!��"��
�����������������������������．
は，音響サーバの接続要求を受け付け，音響サーバ同士の
接続を制御する．音響サーバの詳細については��� で述べ
る．最小構成として音響サーバは演奏を行う各地点に� 台
ずつ設置する必要があるが，同期制御サーバは接続地点の
いずれかに� 台設置する必要がある．いずれのサーバも
����� ベースとする�� が搭載された計算機上で動作す
るよう実装している．
���サーバの動作
伝送サーバを� 地点間で接続する場合を想定する．例え
ばネットワークの通信遅延が�� ミリ秒である場合，地点
� からネットワークを介して送出された音は地点� で��
ミリ秒遅れて出力される．ここにローカル・ラグ法を適用
すると，地点� のフィードバック音に�� ミリ秒のラグ量
が付加され，地点� と地点� の演奏者が同時に同じ音を
聴取できるようになるために遠隔地同士の合奏が可能とな
る．遠隔合奏支援のための音声伝送サーバの主な処理の流
れは以下の通りである．
��� 音響サーバが音データの送受信を行う他の音響サーバ
への接続要求を同期制御サーバに出す．
��� 同期制御サーバが音響サーバからの接続を受け付け，
各音響サーバの情報を通知する．
��� 同期制御サーバが音響サーバ同士を接続させる．
��� 同期制御サーバが音響サーバ間のラグ量を計測させる
命令を出す．
��� 各音響サーバがラグ量を計測し，同期制御サーバに通
��� 同期制御サーバが最大のラグ量を計算し，各音響サー
バに付加するラグ量を通知する．
��� 音響サーバ同士が音データの送受信を開始する．
��� 音データを受信した各音響サーバはラグ量を付加して
音データを出力する．
���サーバの実装
本稿の��� で述べた通り，音響サーバは，音データの入
出力や送受信，ラグ量の制御などの機能を担っている．そ
れらの機能はサーバ内の複数のスレッドによって実現され
ている．音響サーバを構成している各スレッドの図を図�
に示し，その役割を述べる．
図�音響サーバ内のデータフロー�
�������������������������������
� 入力スレッド… 入力デバイス（サウンドカード等）か
らドライバを経由して音データを取得し，接続してい
る全ての音響サーバに音データを送信するスレッド．
� 受信スレッド… 送信元が送出した音データを受信し，
音響サーバ自身の時間情報を基に受信時刻を記録して
リングバッファに格納するスレッド．音データのチャ
ンネル毎に� つ存在する．
� 出力スレッド… 現在時刻と受信スレッドで記録した受
信時刻を比較し，その比較を基に受信スレッドのリン
グバッファから音データのみを取り出し，オーディオ
出力用バッファに転送するスレッド．音データを取り
出すタイミングを調整することで，ローカル・ラグ法
のラグ量付加機能を実現する．音データはオーディオ
出力用バッファから������ !� のコールバック関数を
使用し，出力デバイスに転送される．出力スレッドは
受信スレッドと１対１の関係にある．
音響サーバでは，音の入出力ライブラリに������ !� を
使用している．������ !� はクロスプラットフォームに対
応した��� の入出力ライブラリであり，" 言語又は"##
言語で簡単にプログラムを書くことができる．������ !�
のオーディオ再生処理には同期処理と非同期処理の２種類
がある．同期処理は出力デバイスでオーディオの再生が完
了するまで処理をブロックするので，オーディオ再生に安
定性はあるものの処理のアイドリング状態が発生し遅れ
てしまう可能性が高くなる．非同期処理はオーディオの再
生完了を待たずして処理が返されるので，リアルタイム性
が求められる場合において用いられることが多い．入出力
デバイスの準備が整った場合に������ !� のコールバック
関数が適切なタイミングで入出力を行う．本音響サーバが
開発された当初，入出力処理は非同期処理で行われていた
が，評価実験の結果，入力時に非同期処理を用いると，音
のデータサイズを小さくすると音が途切れてしまうことが
確認されたため，現在は入力に同期処理が，出力に非同期
処理が用いられている．
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
図�遅延を伴う# 地点間の映像伝送�
�����$����%��������������������������
����������"������
��ラグ制御を伴う映像伝送サーバ
���映像再生における同期の崩れへの対処
図� のように離れた地点� と地点� において同期的コ
ラボレーション作業を行うことを想定する．また，地点�
と地点� の間で映像データが送受信され，それらの映像が
重ねて表示されるものとする．この時，地点� から送出さ
れる映像データはネットワークの通信遅延伴って地点� に
到着する．地点� の利用者はネットワークの通信遅延分遅
れた地点� の映像にタイミングを合わせて行動する．同様
に地点� からの映像データにはネットワークの通信遅延を
伴って地点� に到着する．このように時間の経過と共に伝
送される映像における遅延は増大し，両地点における利用
者間の行動の同期性は失われてしまう．同期の崩れの解決
策はネットワークの通信遅延を取り除くことである．しか
し，ネットワークの通信遅延は不可避なものであるため，
その遅延を取り除くことは困難である．そこで，この映像
伝送サーバの開発においては，せめて，異なる地点から送
られてくる映像間の同期を保つこと，また自地点（ローカ
ル）映像と他地点映像を重ねて（あるいは並べて）表示す
る際の映像間の同期を保つことが目指されている．
���サーバの概要：構成
既開発の映像伝送システムは，図� のように映像サーバ
と同期制御サーバから構成されている．映像サーバは，カ
メラから映像データを取得する機能，ネットワークを介し
た映像データの送受信機能，映像サーバ間のネットワーク
の遅延を計測する機能，ラグ量を付加し映像データを出力
する機能を持つ．一方，同期制御サーバは，映像サーバの
接続要求を受け付け，映像サーバ同士の接続を制御する．
映像サーバの詳細については��� で述べる．最小構成とし
ては遠隔合奏支援システムと同様に，映像サーバが各地点
に� 台ずつ設置する必要があるが，同期制御サーバは接続
地点のいずれかに� 台設置する必要がある．いずれのサー
バも����� ベースとする�� が搭載された計算機上で動
作するよう実装されている．
���サーバの動作
映像伝送サーバを� 地点間で接続する場合を想定する．
図�映像伝送システムの構成例�
��������� ���������!��"��
������������������������������
例えばネットワークの通信遅延が�� ミリ秒である場合，地
点� からネットワークを介して送出された映像は地点�
で�� ミリ秒遅れて出力される．ここにローカル・ラグ法
を適用すると，地点� の映像データに�� ミリ秒のラグ量
が付加され，地点� と地点� の利用者が同タイミングで
それぞれの映像を視覚できるようになるために遠隔地同士
の同期的協調作業が可能となる．映像伝送システムの主な
処理の流れは以下の通りである．
��� 映像サーバが映像データの送受信を行う他の映像サー
バへの接続要求を同期制御サーバに出す．
��� 同期制御サーバが映像サーバからの接続を受け付け，
各映像サーバの情報を通知する．
��� 同期制御サーバが映像サーバ同士を接続させる．
��� 同期制御サーバが映像サーバ間のラグ量を計測させる
命令を出す．
��� 各映像サーバがラグ量を計測し，同期制御サーバに通
��� 同期制御サーバが最大のラグ量を計算し，各映像サー
バに付加するラグ量を通知する．
��� 映像サーバ同士が映像データの送受信を開始する．
��� 映像データを受信した各映像サーバはラグ量を付加し
て映像データを出力する．
���サーバの実装
本稿の��� で述べた通り，映像サーバは，映像データの
入出力や送受信，ラグ量の制御などの機能を担っている．
それらの機能はサーバ内の複数のスレッドによって実現さ
れている．映像サーバを構成している各スレッドの図を図
� に示し，その役割を述べる．
� 入力スレッド… 入力デバイス（カメラ等）からドライ
バを経由して映像データを取得するスレッド．
� 送信スレッド… 接続している全ての映像サーバに映像
データを送信するスレッド．
� 受信スレッド… 送信元が送出した音データを受信し，
映像サーバ自身の時間情報を基に受信時刻を記録して
リングバッファに格納するスレッド．
� 出力スレッド… 現在時刻と受信スレッドで記録した受
信時刻を比較し，その比較を基に受信スレッドのリン
グバッファから映像データのみを取り出し，映像を出
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
図�映像サーバ内映像データフロー�
�������������������������������
力するスレッド．映像データを取り出すタイミングを
調整することで，ラグ制御機能を実現する．
映像伝送システムでは，コンピュータービジョンライブ
ラリとして�$%&"' を採用している．�$%&"' はマルチ
プラットフォームに対応した��� のライブラリであり，"
言語や"##言語などの言語がサポートされており，容易
に映像処理が可能である．
���ローカル・ラグ制御を伴う音声伝送サーバとの差異
音あるいは音声は，発信者自身も聴取するメディアであ
るためにローカル・ラグによる知覚レベルの改善を試みる
対象であるが，映像は，発信者自身が見るものではなく，
本質的にローカル・ラグ制御の対象ではない．しかし，複
数の遠隔地間で映像の同期性は保つ必要があるため遠隔
地間でタイミング合わせるべくラグの制御が必要となる．
�()��*��� などで標準的に考えているような全身像や部屋
全体の映像を自分がフィードバック的に見るシーンは考え
にくいが，例えば手の動作などの身体の一部を遠隔地の人
の手などの動きと重ねるということが必要となる場合が
ある．よって，このような場合は音声伝送サーバと同様に
ローカル・ラグ制御の対象になる可能性がある．
また，映像データは入出力の際，映像ディスプレイにお
ける動画表現の基本単位となる静止画に対応するフレーム
単位で扱われる．したがって映像伝送システムではリング
バッファのブロックサイズをフレームサイズと同一とし，
システム内での映像データの扱いはすべてフレーム単位で
行う．一方，音データはある程度の自由度のある固定長の
ブロック単位で扱うことができ，映像データのフレームの
ように一定量のデータをまとめて処理する必要がないた
め，マルチメディアとして音と映像を扱う場合，メディア
間の同期を確保するためには，映像伝送システムと音声伝
送システムが互いのデータ処理の違いを考慮した同期制御
を行う必要がある．
��メディア間同期を考慮したラグ制御を伴う音声・映像伝送サーバ
���マルチメディア化における問題点
音声伝送サーバと映像伝送サーバは，別々に，また継時
的に開発されてきた経緯もあり，それらを同時に稼働させ
る場合であっても，それぞれは別々のプロセスとして動作
する．プロセスが別であれば，同期制御サーバのラグ量の
制御系が複数必要になるので，実質の同期制御サーバが複
数必要となる．また，各システムの実行のタイミングにず
れが生じてしまい映像と音の同期が困難なものとなる可能
性が高い．よって，こうした既存音声伝送サーバと映像伝
送サーバを一つに集約・統合することが望まれる．
しかし，別々のプロセスであれば，それぞれを異なる計
算機上で走らせることが可能であるが，一つに統合された
サーバは一台の計算機で走らせることとなり，その計算機
における負荷の増大が予想され，結果的に同期的協調作業
が破たんしてしまう恐れもある．したがって負荷を軽減さ
せる必要があるのかどうかをまず調査しなければならない．
また，二つの伝送機能を一つに集約するだけでは，そう
して作られた伝送サーバは映像データと音データの間に
同期をとる機構を持っていないため，音と映像の間にずれ
が生じてしまう可能性がある．人間の知覚の上限は映像メ
ディア先行の場合，約��� ミリ秒であり，音声メディア先
行の場合，約�� ミリ秒であるとされている．したがって，
同期機構を構築するためには，この人間の知覚の上限を超
えない範囲にずれを抑え込む必要がある．
さらに，同期機構を構築するには音と映像のどちらを基
軸にし，同期をとるべきかという問題もある．基軸にした
い映像メディアが安定的に出力されなければ，システムが
破たんしてしまうため，この評価が重要であると考える．
���サーバの概要：構成
統合に伴う上記の論点を考慮し，本稿で提案する新しい
マルチメディア伝送サーバは，音声と映像のメディア間同
期を考慮したラグ制御をもつ．この新しい伝送サーバにお
けるマルチメディアサーバは，これまでの音声伝送サーバ
と映像伝送サーバのすべての機能を踏襲している．また，
同期制御サーバについても，本稿��� と��� で述べた通りの
機能を保持している．最小構成としては，音声伝送サーバ
と映像伝送サーバと同様にマルチメディアサーバが各地点
に� 台ずつ設置する必要があるが，同期制御サーバは接続
地点のいずれかに� 台設置する必要がある．いずれのサー
バも����� ベースとする�� が搭載された計算機上で動
作するよう実装している．
���サーバの動作
新しい伝送サーバを� 地点間で接続する場合を想定す
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
る．例えばネットワークの通信遅延が�� ミリ秒である場
合，地点� からネットワークを介して送出された音・映
像は地点� で�� ミリ秒遅れて出力される．ここにローカ
ル・ラグ法を適用すると，地点� の音・映像データに��
ミリ秒のラグ量が付加され，映像の場合は地点� と地点�
の利用者が同タイミングでそれぞれの映像を視覚できるよ
うになり，音の場合は地点� と地点� の演奏者が同時に
同じ音を聴取できるようになるために遠隔地同士の同期的
コラボレーション作業が可能となる．本伝送サーバの主な
処理の流れは以下の通りである．
��� マルチメディアサーバが音・映像データの送受信を行
う他のマルチメディアサーバへの接続要求を同期制御
サーバに出す．
��� 同期制御サーバがマルチメディアサーバからの接続を
受け付け，各マルチメディアサーバの情報を通知する．
��� 同期制御サーバがマルチメディアサーバ同士を接続さ
��� 同期制御サーバがマルチメディアサーバ間のラグ量を
計測させる命令を出す．
��� 各マルチメディアサーバがラグ量を計測し，同期制御
サーバに通知する．
��� 同期制御サーバが最大のラグ量を計算し，各マルチメ
ディアサーバに付加するラグ量を通知する．
��� マルチメディアサーバ同士が音・映像データの送受信
を開始する．
��� 音・映像データを受信した各マルチメディアサーバは
ラグ量を付加して音・映像データを出力する．
���マルチメディア化に伴う実装の要点
音声伝送システムと映像伝送システムを個別に，別のプ
ロセスで起動・実行した時の"�� の使用率は約�� ％程で
あり，サーバに高い負荷を与えてしまう．そこで，単一の
プロセスで実行されるように実装したところ，"�� 使用率
が約�� ％と，約�� ％減少した．次に，同期制御サーバが
複数必要となる問題は，マルチメディアサーバが使用する
同期制御サーバのラグ量の制御系を一つに集約することで
実現した．また，実行の基点を合わせるべく，音声伝送機
能と映像伝送機能を実現させる各スレッドの生成から起動
までを一つのクラス内�メソッド � に集約した．最後に同期
機構であるが，本研究においての同期機構は音声伝送機能
の安定性を保ち，かつ直接音とフィードバック音のずれが
�� ミリ秒付近であるような機構とする．なぜなら，今回使
用するカメラデバイスのフレームレートが最大��+�� で
あるために映像� フレーム間の間隔が�� ミリ秒であるた
めである．基点は映像伝送システム内の出力スレッド内の
安定した入出力を確認できたため，映像メディアとした．
従って，音声メディアの出力タイミングを映像メディアの
タイミングに合わせるように実装した．
��性能評価実験�
���実験概要
図�実験環境�
������!"�������������������
本実験は音声伝送システムと映像伝送システムを統合し
た際の同期機構の必要性を検証するための実験である．実
験に使用したサーバの使用は表� のとおりである．今回の
表�マルチメディアサーバの仕様．
����&"��"��!'()(
#�*�+#�,+)�#(�+���*�!-*
.���&�*�/
��2�+22(0��������+�,(�34
-�5��6+��6�7
カメラデバイス
$�������3�0��8�����.'#(9+(:0�;
ビデオカード
1����3����"����#/((
サウンドドライバ
サンプリングレート
,,�)<34
量子化ビット
チャンネル数
)9モノラル;
サウンドカード
�����5������=�:�������������
実験環境は図� のように設定した．正確な精度を調査する
ためマルチメディアサーバと同期制御サーバは同一���
内で接続した．音声メディアについては，�����, の電子
メトロノーム音をマルチトラックレコーダとマルチメディ
アサーバ（図� 中のマルチメディアサーバ�，�）に入力，
マルチトラックレコーダに直接入力される電子メトロノー
ム音（直接音）はラグを含まないので，レコーダに録音され
る直接音とマルチメディアサーバ�，� からの出力である
フィードバック音との時間的なずれを計測することで，マ
ルチメディアサーバ内の計算処理に起因するラグ量を求め
ることができる．ずれの計測は，レコーダに記録された音
声データを波形編集ソフトを用いて行った．なお，映像メ
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
ディアについては，カメラデバイスの入力能が最大��+��
であることから� フレームあたりの入力時間は約�� ミリ
秒と推測可能であるために，映像メディアの出力スレッド
内にてリングバッファの堆積量を調査する．すなわち，音
声メディアをこの�� ミリ秒付近に計算処理を安定して抑
え込むことができれば，各メディアは同期的な動作を示す
ことになる．
本実験において，マルチメディアサーバ内の計算処理に
所要する時間は音声メディアの場合，入力するデータサイ
ズに左右され，映像メディアの場合，入力映像の描画サイ
ズに左右される．音声メディアのデータサイズは先行研究
で有用であると示した���，���，������ と設定し，映像メ
ディアの描画サイズは今回用いたカメラデバイスの最大値
である���� ×���� ピクセルと最小値である��� ×��� ピ
クセル，さらに先行研究で最適であると示した���� ×���
ピクセル��� とする．音声メディアの解析は� 分毎に，前
述した波形編集ソフトを用いる方法で計測した．なお，本
実験の１回あたりの試行時間は�� 分とし，試行は各音声
データサイズ毎にそれぞれ� 回ずつ独立に行った．
���結果と考察
図�フィードバック音に伴う誤差（描画サイズ)'#( ×)#-( ピク
セル）（以下，図), まで，描画サイズを除いては同様のため，
省略形で記載）�
������������������������<��������>)'#(�)#-(>�����
図��フィードバック音に伴う誤差（描画サイズ)#-( ×2#(）�
�������������������������<��������>)#-(�2#(>�
映像メディアの描画サイズが���� ×���� ピクセル，
���� ×��� ピクセル，��� ×��� ピクセルの� パターンと
音声メディアのデータサイズが最適なデータサイズ������
の場合の直接音とフィードバック音の解析結果のみを図
������� に示す．図の縦軸は直接音とフィードバック音のず
れを示しており，単位はミリ秒である．また横軸は� 分ご
図��フィードバック音に伴う誤差（描画サイズ*,( ×,-(）�
�������������������������<��������>*,(�,-(>�
との計測時点である．図の系列はマルチメディアサーバの
�，� の何回目の思考であるかを表している．なお，映像
メディアの結果であるが，いずれの場合においても堆積量
が無かったため，図は示さない．データサイズ���，��� に
おいては基本的に�� ミリ秒～ �� ミリ秒に抑えられている
ものの，突出したずれが発生している．これは，各スレッ
ドの処理のタイミングが合わず，出力スレッド内で出力す
るデータが確保できず，安定的な音声データの供給が行え
なかった，もしくは������ !� の出力用のコールバック関
数の割り込みが適切に行われず，呼び出されていないため
に発生したと考える．このような突出したずれは，同期的
共同作業を行う際にはクリティカルなものとなってしまう
ため，いかにこのようなずれが起こらないようにするかが
キーとなるのは明らかである．安定的な音声データの供給
についてはマルチメディアサーバ内の入出力の処理系を
改良する必要があり，������ !� の出力用のコールバック
関数の割り込みが適切に行われず，呼び出されていない場
合，マルチメディアサーバのスペックを向上や������ !�
のバージョンアップなどで対処できる可能性がある．デー
タサイズ��� においては， ��� ミリ秒を超えるずれが発生
しており，当然のごとく，同期的作業を行うには適してい
ないと考える．データサイズが��� の場合はフレーム超が
���-����� の約���� ミリ秒であり，音声が１つ供給され
ないと，約�� ミリ秒のずれが生じてしまう．データサイ
ズ���，��� と同様に割り込みなどの処理が適切に行えな
いと大きなずれが生じてしまうため，今回のような結果と
なったと考えられる．
��性能評価実験�
���実験概要
本実験は，前節の音声メディアにおける突出したずれが
起こらないようにする，つまり，いかなる条件下において
も計算処理に伴う遅延量を�� ミリ秒付近に安定的に抑え
込む機構を導入し，その性能を評価することが目的である．
マルチメディアサーバは音声メディアをデータサイズ単位
で扱っていることから，データサイズのフレーム長は，例
えばデータサイズが��� である場合，���-����� の約���
ミリ秒となる．従って，安定的に�� ミリ秒分の音声デー
タを供給するためにはデータサイズが��� である場合，約
�� 個分のデータを受信スレッドの持つバッファにため込
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13
情報処理学会研究報告
����������������������
み，出力スレッドが約�� 個分のデータを������ !� に供給
することで実現できる．このような機構を今回導入した．
サーバの仕様と実験環境，測定・解析方法も� 節と同様で
実験条件についてであるが，第� 章と同様に，音声メ
ディアのデータサイズを���，���，��� と設定し，映像メ
ディアの描画サイズを���� ×���� ピクセル，��� ×���
ピクセル，���� ×��� ピクセルとした．音声メディアの解
析は� 分毎に，前述した波形編集ソフトを用いる方法で計
測した．なお，本実験の１回あたりの試行時間は�� 分と
し，試行は各音声データサイズ毎にそれぞれ� 回ずつ独立
���結果と考察
図��フィードバック音に伴う誤差（描画サイズ)'#( ×)#-(）�
�������������������������<��������>)'#(�)#-(>�
図��フィードバック音に伴う誤差（描画サイズ)#-( ×2#(）�
�������������������������<��������>)#-(�2#(>�
図��フィードバック音に伴う誤差（描画サイズ*,( ×,-(）�
�������������������������<��������>*,(�,-(>�
映像メディアの描画サイズが���� ×���� ピクセル，
���� ×��� ピクセル， ��� ×��� ピクセルの� パターン
と音声メディアのデータサイズが��� の場合の直接音と
フィードバック音の解析結果のみを図�������� に示す．図
の縦軸は直接音とフィードバック音のずれを示しており，
単位はミリ秒である．また横軸は� 分ごとの計測時点であ
る．図の系列はマルチメディアサーバの�，� の何回目の
試行であるかを表している．なお，映像メディアの結果で
あるが，いずれの場合においても堆積量が無かったため，
図は示さない．以下の結果と� 節の結果を比較すると全
ての条件下において突出したずれは発生しなかった．しか
し，安定的に音声データを供給しているにもかかわらず，
数ミリ秒のずれが発生した．これは，各スレッドの呼び出
し割り込みが上手く行えなかった，もしくは� 節の考察と
同様に������ !� の出力用のコールバック関数の割り込み
が適切に行われず，呼び出されていないために発生したと
考える．これらのことからマルチメディアサーバのスペッ
クを向上させることで改善できる可能性が高いと考える．
以上のことから今回の同期機構は有用であると考える．
��おわりに
本稿では，既存の音声伝送サーバと映像伝送サーバの集約・統合，および音声・映像メディア間同期の実現を目指し，新しいマルチメディア伝送サーバを構築した．性能評価実験の結果，本稿で紹介したメディア間の同期機構はほぼ期待通りに動作し，開発した新サーバは，視聴覚メディアを同時に伝送するため有用な手段足り得ることが明らかになった．今後は，遠隔コラボレーションの支援ツールとして，様々な協調的作業の支援課題において評価を行っていく予定である．
���������������������������������� ���!�"��#$����
�%�&��#'���(��(%��%����(��)������������ �������
&��% ���(������������*��� ��&�������+�)��*$�
����,�������%%������-���,.�
���/��0��������1�� �����������2��)�)���2�3����
�)�(�������(��1��)������)�����4����1����)�������
5 �0�1�����62)�������#��"����)�+ � ��%)����
4222�&)��&�������"�������������%%����,,-����.�
�,�井ノ上直己# 超臨場感コミュニケーション技術の研究開発概要� 情報通信研究機構季報�������������7��%%�,�8
-����.�
���9����� &3�����*���: �"��62)�;<�&���+��&����(��
2�()����*� %���!�����&������9�����' ���:�� %"���
#*��% ���� %%�����*��%�������=��3，%%���8����
-����.�
���入江洋介� 青柳滋己，高田敏弘，平田圭二，梶克彦，片桐滋，大崎美穂6������ のための遠隔合奏支援システムの構築 � 情報処理学会�>��������:4�8,�4��,-����.�
���竹森幸輝，前田佳奈，岩原正典，片桐滋，大崎美穂 6 ローカル・ラグ制御機能とログ同期機能を持つ音響サーバの開発� オーディオビジュアル複合情報処理研究会-����.�
�8�前田佳奈，竹森幸輝，岩原正典，片桐滋，大崎美穂6 ローカル・ラグ機能を持つ音響サーバを用いた遠隔合奏の評価� オーディオビジュアル複合情報処処理研究会-����.�
���岩原正典#ローカル・ラグ制御機能と同期機能を持つ音響サーバの構築，同志社大学大学院工学研究科情報工学専攻修士論文-���,.�
���村上昂，飯田卓也，片桐滋，大崎美穂# 遠隔コラボレーション支援のための映像伝送システムの開発とその遅延評価� 情報処理学会� 第�� 回グループウェアとネットワークサービス研究会 �4����-���,.�
�ⓒ 2015 Information Processing Society of Japan
Vol.2015-GN-94 No.22
2015/3/13