はじめにコンピュータ音楽を中心としたメディアアートに関するテーマの研究活動とともに、その具体的な応用を実験的に検証する意味で、実際にいろいろなインタラクティブ・マルチメディア作品を創作して公演・発表する活動を行っている(1-11)。実験的なシステムをリアルタイムパフォーマンスに応用することで、作品の中から新たな研究テーマや課題が出てくることも多い。最近ではグラフィックアーティストやダンサーとのコラボレーションによって、インタラクティブ・マルチメディア・アートとしての方向に展開している。本稿では特に、リアルタイムオーサリング環境"MAX"と結び付けて、グラフィクスをライブ制御する手法について手法について紹介するとともに、その問題点と課題について検討する。(1993年4月以降)の中で「マルチメディアアートにおいてグラフィクス系をリアルタイム制御する」というような視点から従来研究を調べてみると、以下のようなアプローチが行われてきた。後藤ら(12)は、RMCPシステムのクライアントとしてSGI上にOpen-GLでリアルタイムCGシステムを実装した。長嶋(13)は、AMIGAコンピュータによるCG系とMAXのサウンド系とをMIDIによりインターフェースした。松田(14)らは、NeXTコンピュータにライブビデオ画像を取り込み、ISPW上のFTSでの転送を試みた。片寄(15)らは、簡易なアニメーションとしてMAXのPICTオブジェクトを利用した。Indigo2を用いたグラフィクス系をFTSによりISPWと結合させた。Dataを組み合わせたシステムを構築した。平野(18)らは、オーサリングソフト"Director"の外部拡張オブジェクトとして、Serial、HyperMIDI、MIDIXTRA等を利用してMIDI系とグラフィクスを連携させた。solutionであると思われる。これは海外でも基本的には同じである。(3)では、performanceをセンシングするオリジナルセンサとともに、MIDI系とリンクしてリアルタイムにグラフィクス系を制御するためのオリジナルマシンを、作曲の一部として製作した。フレームメモリ等に画像情報を蓄積しないのでアナログ信号切り替えのノイズ等が出るものの、ライブパフォーマンスをCCDカメラで取り込んだ画像などを瞬間的に切り替える時にはほとんどノイズが気にならず、むしろ高速レスポンスの重要性を確認することができた。Edge"に続く作品"Johnny"でも、図2のように基本的には同じようなシステム構成を採用した。この作品では、ステージ上の3人のperformerからのライブ情報をマージしたセンサフュージョン情報をMAXに取り込み、サウンド系のMAXとグラフィクス系に分岐して送っている。技術的にポイントとなったのは、リアルタイム3D-CG生成のSGI上のソフトウェアに対して、サウンド系まで含めた多量のMIDIをそのまま送ってはいけない、という部分である。Uinx系としては唯一、MIDIの入出力がまともに機能するSGIであるが、出力はともかくMIDI入力に対して、IRIXは多量のトラフィックには耐えられず、コアダンプする間もなくカーネルからフリーズする場合があり、専用のプログラマブルMIDIフィルタを製作して、CGに必要な情報だけをフィルタリングする必要があった。Legend"のシステム図である。この作品のメインテーマは、雅楽の伝統楽器である「笙」の表現可能性を拡張するための笙ブレスセンサの活用である(19)。ここでも同じMIDIビデオスイッチャを利用しているが、グラフィクスのソースとして別にパソコンを用意して、あらかじめ制作した静止画映像をスライドショー表示させたものも映像ソースの一つとして使用した。小型ビデオエフェクタ装置(Videonics社)のパネル操作をMIDI経由でMAXライブ制御するシステムも制作したが最終的には公演には使わなかった。この作品では、笙のライブ音響に対してKymaによりリアルタイム音響信号処理を行う、という部分にもっとも重点を置いたが、Kymaの信号処理アルゴリズムのパラメータを全てMAXからMIDI経由で送ることで、サウンド系とグラフィクス系はMAX上で対等にプログラミングできた。これは、筆者がMAXを作曲のベースとする最大の理由である。図4はこの作品の笙のサウンドを処理するKymaのパッチ、図5は、グラフィクスを含む作品全体を制御するMAXパッチである。デー(20)において発表した、体験型インタラクティブ・メディアインスタレーション作品「森海(しんかい)」のシステムブロック図である。この企画は、デザイン学部技術造形学科の教員と一部選抜学生とのコラボレーションにより、わずか3週間でセンサからCGまで制作するという初めての企画だったため、サウンド系とグラフィクス系の仕掛けの部分にはあまり冒険ができない状況で、同じMIDIビデオスイッチャを使用した。ディスプレイ系として、学内の8台の大型プラズマディスプレイを並べるという壮観な展示空間を実現できた点が、ビデオ系統のスイッチマトリクスという機能を直接的に表現する格好の機会となった。学生がPhotoshopで制作したCG静止画は、Directorによって各種のモードでページ推移するスライドショーとして出力したものをビデオに記録してエンドレス再生し、3系統のライブCCDカメラ画像とともにMIDIビデオスイツチャの入力として利用した。背景音響パートとセンサ対応イベント音響も、全てMAXによって生成した。して、以下のようなものがある。レスポンス性能(21)音源のレスポンス(MIDI情報を受け取ってから実際のサウンドが生成されるまでの遅延)と同等であるためには、いくら悪くても100msec、できれば30-50msec以内で画像を更新したい。これはかなり厳しい要求であるが、特にパフォーマンスの要素としては妥協できない性能であり、筆者の手法の選択においては重要である。連続動作性テープというメディアを使用することで、連続的に展示する場合に「巻き戻し」という必要性が生じる(無人化が困難)ことは重大な問題となる。2週間とか1年間という長期間の展示の場合には、テープをCD-RやDVDやHDという連続アクセスメディア化しても、基本的に「メカの劣化と寿命」という問題点がある。演奏時間として10分とか15分と限定されている場合には、Hi-8テープ等で問題なく実現できる。OSのハングアップUnixやMS-DOSなどに比べて、ブラックボックスの陰でこっそり不十分なメモリ管理をしているWindows系のOS(95,98,NT,...)では、連続無人運転のインスタレーションを構築することがあまりに危険である、という議論はとても多い。ネットワークサーバOSと同じ議論である。爆弾マークを出すMacOSも同様である。画質と機器コンピュータのRGB出力そのものをRGB対応の大型ディスプレイやプロジェクタに接続する、というものを最上画質の[A]ランクとすれば、[B]パソコン出力をスキャンコンバータでSビデオに変換、[C]パソコン出力をスキャンコンバータでNTSCビデオに変換、という各種の画質が存在する。グラフィクスをスイッチングした場合には、もっとも画質の悪い機器に応じたレベルに全体が低下することになる。経験上は、XGAだSVGAだVGAだ、という画素数の性能はあまり気にならないことが多い。ような多数の機能を持ったものはあまり見かけない。フェイドイン/アウトの機能もブラックアウト期間が気になる。切り替えのタイミングとしてタイマーとマウスクリックだけでなく、せめてシリアル入力のトリガがあれば、と筆者は思うのだが見かけない。何か情報があればお知らせいだたければ幸いである。前節のような検討とともに、筆者がメディアアートのためのリアルタイム画像制御手法としてリストアップしたのは以下のようなものである。この中には、既に実現したもの、現在実験中のもの、実験するつもりで準備しているもの、おそらく自分ではやらずに誰かからの情報を待っているもの、等が混在しているが、実現手法を問題とするのでなく、作品をいかに実現するか、というゴールを忘れずに、いろいろとチャレンジしていきたいと考えている。MAX内でQuickTimeムービーのオブジェクトを使う。マシンの性能とQTムービーの画像サイズ等に依存する。本来の制御系であるMAX部分がQTムービー処理に足を取られるようでちょっと気持ちが悪い気がする。MAX内でPICTオブジェクトによりリアルタイムグラフィクスを行う。PICTサイズが大きくなると、いちいちHDからのロード時間が遅延として気になったが、MAXパッチからPICTまで全てRAMディスク上に置くと、この問題はかなり改善された。次作ではこの手法を試してみるつもりである。MAXのDrawオブジェクトによる描画。Open-GLのCGソフトを書いてしまうとあまりに物足りないが、実験的な試作においては有効かもしれない。ハードによるパターンジェネレータとAKI-H8等によるMIDI制御化。秋葉原のビデオ信号生成キット等をカードマイコンでMIDI化する手法で、一部(ブラック信号)で実際に使用中。市販ビデオエフェクタ機器をAKI-H8等でMIDI化。実現しているが、パネルスイッチの部分をカードマイコンによりMIDI制御しただけでは、実際のライブ操作としてはあまりに遅くて使えないことが判明。MIDI制御ビデオスイッチャをAKI-H8等でオリジナル製作。次のバージョンとしては、入出力のより多系列化が課題となっている。MIDIでDirectorを制御する。ADBやモデムポートのあったMacでは比較的容易にXtrasが使えるようだが、USB/IEEE1394ベースのG3/G4ではなかなか問題があるようである。現在のところはまだ使えていない。RS232CでDirectorを制御する。Directerの内部的なXtrasのSerialPortを使うために、別にAKI-H8等で「MIDIとRS232Cの相互変換マシン」を製作した。USBのMacでは、「USBとシリアルとの相互変換アダプタ」との相性が不調で、これも現在まで使えていない。SGIでOpen-GLでMIDI対応のCGソフトを書く。Drwa系のCGにはとても有効。問題はムービーや実画像などのグラフィクスの部分で、まだ実験を尽くしていない。Pd/GEM、BeOS、DirectXなど。その道の専門家によると「使える」らしい。静止画ビューワ/スライドショー/QTプレーヤ等をスクリプトによりシリアルから制御。いうものが見つからなければ、自作するしかないのかもしれない。ノンリニア・ビデオ編集機器をリアルタイム制御する。実際にシリアル等の制御を受けるものがあり、資金力があれば実現可能か。グラフィクスのライブ制御の全体を考える上で重要なのは、グラフィクスに対して「再生するのか」「生成するのか」「効果を加えるのか」という、サウンド系と似たような指針の選択であると思われる(図7)。おわりに研究と実験と創作と発表とは自動車で言えば四輪であると思われる。シンポジウムでの「アートとエンターティンメント」セッションでの招待講演における、インタラクティブアート作品の新作発表公演である。具体的なターゲットに臆せず挑戦し、多くのご批評、ご意見、ご議論をいただきたいと思う。(99-MUS-31)、1999。