Real Eye Communicator:  
ユーザの角膜を利用した光通信システム 
東京都調布市調布ヶ丘１－５－１ 
電気通信大学  
大学院 情報システム学研究科 
mitsud- y@hi.is.uec.ac.jp 
北海道函館市亀田中野町１１６－２ 
公立はこだて未来大学 h.nakashima@aist.go.jp 
 本稿では、ユーザの角膜を利用して光通信を行うReal Eye Communicator システムと、それを利用することで構築される、Interactive Sight 環境の提案を行う。REC は、ユーザの視野に対して直接計算機的なデータを貼り付けることが機能を持つ。こうした機能を持つデバイスを利用することで、ユーザの視野そのものに、現行の GUI システムにおけるディスプレイのような機能を持たせ、視野内のオブジェクトをアイコンのように操作することが出来る。このような、環境を Interactive Sight 環境と呼ぶ。本稿では、REC の仕組みと、これによるInteractive Sight 環境の構築の一例を提案する。    
Real Eye Communicator:  
An Eye- mediated Optical Communicator 
Yuichi Mitsudo 
1- 5- 1 chofu- shi chofugaoka Tokyo Japan 
University of Electro- Communications  Graduate School of Information Systems 
mitsud- y@hi.is.uec.ac.jp 
Hideyuki Nakashima 
116- 2 Kamedanakano- cho  
Hakodate- shi Hokkaido 
Future University Hakodate 
h.nakashima@aist.go.jp 
 In this paper, we present an eye- mediated optical communicator, called “Real Eye Communicator”. This devise enables to attach the computational data to the user’ s sight directly by using reflected image of user’ s cornea. We explain how to achieve this feature, and present the “Interactive Sight Environment”, which is a simple and intuitive real world interactive system using Real Eye Communicator.    はじめに 現在、計算機環境の現実世界への拡張が進み、実世界に居ながら様々な計算機サービスを得られる環境が整いつつある。こうした環境
は、Mark Weiser[1]が、Ubiquitous Computing環境として提案したものである。ところで、ユーザがこれらの計算機環境を利用するためには、しかるべきユーザインターフェースを利用する
社団法人 情報処理学会研究報告IPSJ SIG Technical Report
2004－UBI－6(10)
2004／11／10
必要があるが、現行のデバイスは、基本的にデスクトップ上のGUI環境を引き継いだ環境を提供している。例えば、PDA や携帯電話などで使用されているGUI は、基本的な部分はデスクトップ環境でのそれと同じである。現行のGUI 環境では、ディスプレイとポインティングデバイスの２つのデバイスが最小構成として必要であるが、特にディスプレイは、なんらかの表示装置と、制御装置を内蔵する必要があり、また、表示のためにある程度の大きさが必要であるため、携帯型計算機にサイズの上限が決定されてしまうので、使用上の制約が生じる。しかし、GUIの操作体系は広く一般に普及していることから、これと全く異なる操作体系を提案することは得策ではない。そこで、本研究では、実世界環境において利用する、ディスプレイを必要としないInteractive Sight[4]環境の構築を議論する。  
Interactive Sight 環境 
Interactive Sight 環境とは、従来の GUI 環境を実世界に拡張した環境である。GUI 環境では、ディスプレイ上に表示されたアイコンなどのシンボルを、ポインタでクリックすることで計算機資源をコントロールしている。Interactive Sight環境では、GUI 環境におけるディスプレイを、ユーザの視野そのものに置き換えた環境である。ここでは、ユーザの見るオブジェクトそのものがアイコンに相当する。ポインタは指や専用の機材など、ユーザの視野上で、「アイコン」に重ねられるものとする。GUI 環境上で、アイコンにカーソルを重ねるのと同様に、Interactive Sight 環境でも「アイコン」に「ポインタ」を重ねる。この動作を「テレクリック」と呼ぶ事にする。テレクリック時には、必ずしもポインタ（ここでは指）と、アイコン（オブジェクト）が接触している必要はない。  実現の手法 上のような動作をネットワーク上で実現するためには、下記のような機能が必要となる。この節では、１）から４）をどのように実装するかを議論する  
１）ユーザの視野を取得する ２）取得した視野から目標物を検知する ３）検知した目標物のネットワークアドレスを検知する ４）別途、無線 LAN などの高速データ転送が可能な手段で提供されたネットワークアドレスにアクセスし、なんらかのアクションを起す。  
図１：視野上で時計をテレクリック 
 視野の取得 人間は、眼球によって視覚情報を得ている。外界から角膜を介して入射した光が、網膜を刺激し、その信号は視神経を介して脳に伝達され、視覚が生じる。このため、ユーザの角膜に入射した光がユーザの視覚を構成しているといえる。ユーザの眼球に入射した光そのものを受光することは困難だが、一般に、角膜の屈折率は空気と異なるため、角膜に入射する光は一部反射されて外界へ戻ってくる。このような反射光によって生じる像は、プルキンエ（Purkinje）像として知られており、視線検出器などで利用されている（写真１）。 
写真１：点光源のプルキンエ像（赤外線映像） 
図２：プルキンエ像による視野の共有 
 この反射光は、もともとユーザの眼球に入射した光であったので、ユーザの視野を構成する光の一部であったということが出来る。つまり、この反射光を受光すれば、ユーザの視野を構成する光の一部を捉えられたことになる。そこで、受像素子もしくは受光素子を眼球に向けて配置し、眼球からの反射光を捉える仕組みを作り、ユーザの視野を取得する（図２）。  目標物の検知 人間は両眼から視界を得ているが、主観的な視野は一つである。このため、我々は、実世界上の特定の何かを指差したように思っていても、両眼から２枚の映像が得られている（図３A,３B）。この際、ユーザがある特定の側の眼から得られる映像を基にして、指差しているものを特定している研究結果が出ている。この眼を「利き目」と呼ぶ。またさらに、実世界上のオブジェクトを指差す場合は、利き目の視野上で、指などの指示具をオブジェクトの近傍もしくは重なる位置に誘導する傾向が見られる。よって、テレクリックは、通常の指差し行為に似た、直感的な行為であるということが言える。このことから、受像システムは利き目側のみに装着することが望ましい。「テレクリック」を行う際には、検出システムを利き目側に取り付ければよいことになる。  
図３A 右目から得られた映像 
図３B 左目から得られた映像 
 ネットワークアドレスの検知 実世界上にタグを配置し、自らの ID を添付する。受像システムは、反射光上の タグの情報を解析して ID を検知する。  
無線環境によるアクション 上で挙げるようなID 受信システムとは別に、無線によるデータ転送経路をあらかじめ用意する。例えば、受信システムに携帯電話や、PDAを接続する。ID 受信システムは、受信した IDへのアクセスを、無線環境を利用して行い、なんらかのアクションを起す。たとえば、指差した電灯が点いたり、エアコンを操作したりすることが可能である。  
Real Eye Communicator 
 Real Eye Communicator （REC ）[2,3] は 、Interactive Sight 環境において、実世界上の計算機資源と計算機資源の間に、光空間通信システムを利用して高速データ転送機能を付加したシステムである（図４）。具体的には、 
１） 光学 ID を、光発信器とし、 ２） 受像機をフォトダイオードやフォトトランジスタなどの高速受光素子にした 
システムである。このため、映像情報を取得することは出来ないが、高速データ通信を行うことができる。受信できるデータは ID のみにとどまらない。計算機的なデータ全般、例えば、ネットワークアドレスそのものや、ASCII コード、あるいはバイナリそのものや、音声データといった、およそ光空間通信で送信可能な全てのデータを発信可能である。  Real Eye Communicator の特性 REC では、上の様な構成によって、ユーザの主観的な視野と、計算機データの対応をとることが可能になった。このことから、ユーザに対して新しい計算機環境を提供することが可能である。従来、計算機データそのものを体感することは不可能であったが、データを光信号として発信し、その光信号を、角膜を介して受光し、受光したデータを Interactive Sight 環境で利用することで、ユーザが計算機データを直接知覚し、操作することが可能にる。例えば光 IDをあるオブジェクトに貼り付ければ、その光 IDから発信された情報は、自分の視野上の映像の属性として考えることができる。つまり、見えているオブジェクトにはアクセスできるネットワ
ーク環境が成立する。REC は狭義には単なるポインティングデバイスであるが、広義には、このように、ユーザの眼球に入射する光、つまり視野に計算機情報を重畳することが出来るシステムである。 ユーザの眼球に入射する光は、次の２つに大別することが可能であり、REC は機構上どちらの光からも計算機情報を得ることができる。  １） 直接光 ２） 間接光  直接光とは、光源からの光が直接眼球に入射している場合を指す。また、間接光とは、光源からの光が何かに反射して、眼球に入射している場合を指す。現実の視野は、直接光と間接光の組み合わせで成立している（写真２）。  
写真２:直接光と間接光からなる映像 
 REC を利用する環境は、この２つを適宜組み合わせることで構築される。例えば、ユーザがある計算機オブジェクトを見ているときは、間接光を利用して計算機デバイスを見ていることになる。間接光を生じる光源が変調されていた場合、ユーザ、もしくは REC に接続された計算機は、どの間接光を介して計算機デバイスを観ているのかを知ることが出来る。さらに、計算機オブジェクトに、光信号を発信する ID が装着されている場合、ユーザは計算機オブジェクトから直接光を受光することになる。この場合、ユーザもしくは REC に接続された計算機は、ID からの情報を得ることができる。  
図４ Real Eye Communicator の構造 
Interactive Sight 環境 
 広義の Interactive Sight 環境 現在までの Interactive Sight 環境は、直接光からのデータのみを用いたインタラクティブ環境である。これを狭義の Interactive Sight 環境とする。これに対して、広義の Interactive Sight環境とは、通信媒体として間接光を含み、このデータを明示的もしくは暗示的に利用することができる環境を指す。  明示的な直接光の利用 変調光の明示的な利用とは、ユーザが変調光を明示的に認識し、扱うときに使う。つまり、テレクリックするものは全て明示的な利用である。これに対して、暗示的な利用とは、ユーザが変調光を明示的に認識しないときに利用する。  暗示的な直接光の利用 例えば、計算機オブジェクトから発信された IDが視野内にある場合、REC はそのIDを受信することが可能である。ユーザがその計算機オブジェクトを意識していない場合でも、REC は何のオブジェクトがユーザの視野内にあるのかを知ることができる。これは、直接光を暗示的に利用したケースである。   
明示的な間接光の利用 例えば、美術作品などを展示する際に、スポットライトを当てる事は一般的に行われている。このスポットライトに変調光を当てることで、それを観たユーザに選択的にデータを送信することが可能である。これは、間接光を明示的に利用したケースである。  暗示的な間接光の利用 例えば、ある部屋の照明器具に場所データを発信させた場合、ユーザがその部屋に入って視界を得れば、ユーザの計算機はユーザどの部屋のオブジェクトを見ているかを理解することができる。この場合は、間接光を暗示的に利用したケースである。  Augmented Affordance 発信器が、自らを装着されたネットワークオブジェクトのデバイスドライバ（もしくはドライバのID）を発信している状態を指す。この場合、システムを駆動するオペレーティングシステムは、ユーザが見ている範囲のネットワークオブジェクトを利用するために、動的に自らの構造を変化させてゆくことが出来る。このようなシステムは、ユーザに視野内にあるネットワークオブジェクトへのアクセスを保障すると共に、「オブジェクトを見られる位置にいる」ユーザのみに使 
図５ REC による視差の減少 
用を許可する、一種のセキュリティ環境も副次的に構成する。この様な状態は、ネットワークオブジェクト自身が、ユーザの持つ計算機環境に対して自らを Afford していると考えられる[5]。このようなネットワーク環境を、Augmented Affordance と呼ぶことにする。 
Real Eye Communicator の利点 
高速性 Real Eye Communicator では、受光にフォトダイオードを利用しているので、高速な信号を受信することが可能である。一般的な CCD では、１秒間に約３０フレームの映像が取得されるのに対し、フォトダイオードでは、遮断周波数がGHｚ帯にまで届く機種も存在する。そのため、タグに対して大量のデータを付加することが可能である。現在までのタグは、ID 情報を添付するのみであるが、タグから情報を「放送」することも可能である。現行のシステムでは、搬送波に１００ｋHz の周波数を利用した信号でのデータ転送が可能であり、この特性を利用して、音声データを転送することができる。CCD などを利用した実世界認識機構では、タグに音声データを付加してリアルタイムに送信することは困難である。現在開発しているシステムは、
搬送波に 10.7MHz の波長を採用している。  視野との連携について Real Eye Communicator は、ユーザの主観的な視野に対して、直接計算機的なデータを重 畳しているので、計算機側に対して、良好なデータ通信環境を提供すると共に、ユーザに対しても直感的なインタラクティブ環境を提供し ている。これは、角膜反射を利用することによる、計算機データ（変調光）と入射光の良好な対応によるものである。一般に、反射光を利用しないシステムでは、受光器と眼の間に視差が生じる。しかし、REC では、一旦角膜に反射した変調光を受信しているため、極めて小さな視差しか生じない。よって、ユーザの主観的な視野と精度良く対応した操作環境を提供することが可能である（図５）。  プライバシーの確保 一般に、CCD を利用して外界を撮影する事は、撮影される側のプライバシーの侵害にあたる可能性がある。この点で、REC では映像情報を取り扱う必要はなく、光の変調を計測しているだけであるので、プライバシーに関わる情報に抵触しにくい。  簡単なキャリブレーション REC の機能は、角膜近辺の光の反射を計測
することのみで成立する。即ち、複雑な光学しシステムや、稼動部分などは必ずしも必要とされない。必要なキャリブレーションは、受光器を正しく眼球に向けることだけである。  ユーザへの負担 ハーフミラーなどの機器を利用して、ユーザの視野と等価な映像を取得する手法もある。この構造は、ユーザの視野を構成する光を分割して、CCD とユーザで分け合う形になるので、CCD に充分な光量を提供しようとすればユーザの視界が暗くなる。これを避けようとすれば、CCD が十分な光量を得られない問題が生じる。これに比べて、REC の場合は、もともとユーザの眼球から反射した光を利用しているので、機構上ユーザの視野を暗くすることは無い。  構造の単純性 REC の電子回路部分は、単純な光受信システムであり、複雑な光学システムや、可動部分などを必要としないため、システム全体を小型に仕上げることが可能である。例えば受光素子は、写真３のとおり、CCD と比べて小型である。  
写真３： 左：CCD、右：フォトダイオード 
現在までに実装されたシステム 
REC の基本的な動作確認のために一部実装を行った。現行のシステムでは、発信器に100kHz の搬送波を利用し、受信することができる。これは、例えば音楽などのデータを送信するのに充分高速な搬送波である。また、複数の発信器を設置し、そのうちの一つを「テレクリック」すると、特定の発信器からの信号が遮断される。これは、テレクリックの瞬間にユーザから発信器が見えなくなることが原因である。
このことから、ユーザの視覚と光信号の受信状況が対応していることが明らかになった（図６）。 
写真３：送信機（赤外線発信器） 
写真４：受信機 
今後の研究 
本研究は、まずは、運動機能障害者への支援システムへの応用を考えている。例えば、車椅子や、ベッドに横たわっている間であっても、指差すだけでさまざまな機械を操作できるのであれば、ある程度の生活の質を保てるとともに、介護者の負担を減らすことが出来ると考えられる。このシステムは、複雑な構造や情報処理を必要としないため、簡単に組み上げることが可能である。そのため、経済的な面も含めて、介護者や、本人にとって負担の少ないシステムを組み上げることが可能である。    
図６ 視野と光信号の対応 
本構想は、現在（独）情報処理推進機構による未踏ソフトウェア創造事業に採択され、資金援助を受けながら実用システムの開発研究と、実装を行っております。  
[1]Mark Weiser The Computer for twenty- first century Scientific American  pp94- 104,1991 [2]光藤雄一 茂木健一郎 Interactive Sight: A New Interaction Method for Real World Environment HCII2003, Creta,  June 2003  vol2, pp746- 750 [3]光藤雄一 茂木健一郎 Real Eye Communicator: An Eye- mediated Real World Pointing Device Pervasive2002 Zurich, Aug 2002 Handout,  pp112- 118    
[4]光藤雄一 茂木健一郎 Real Eye Communicator: A Pointing Device for Real World Computing KANSEI2001, Muroran, Oct 2001 pp227- 230 [5]J.J.Gibson The ecological approach to perception Lawrence Elbaum 1987 