max)が定義されます。これを用いることによって、例えば、「馬と人と象の写真」と「馬と人と犬の写真」から、共通部分である「馬と人が写ったの写真」を検索するような演算が可能になります。Labでも取り上げました。埋め込む空間として、双曲空間を用いることにより、ユークリッド空間には埋め込むことができない、指数的にノードが増えていくような木構造を、その距離構造を保ったまま埋め込むことができます。http://nunuki.hatenablog.com/entry/2018/12/15/055136このため、通常のユークリッド空間を用いた埋め込み手法に比べて非常に少ない次元で高い表現能力を実現しています。組み合わせたような手法となっています。この手法では、双曲空間のポアンカレ円板モデルの中心から外側に広がる円錐によって表される半順序構造の中に、推移的関係を埋め込んでいます。2018]これまで紹介した4つの埋め込み手法を、埋め込む関係性と、埋め込む空間の構造で分類するならば、次のようにまとめることができます。(正確な分類ではありませんが、わかりやすさを重視しています。内容について説明していきます。ように、推移的関係を順序構造の中に埋め込む手法を一般的に扱うためのフレームワークとなっています。関係や、文章の含意関係などは、非循環有向グラフ(DAG)で表すことができます。Aが成り立つ(BはAの一種である)場合にはAからBへの(有向)エッジがあるといった具合です。この場合、単語AがBに含まれ、BがCに含まれる時、AはCに含まれるという関係性(推移的関係)が成り立っています。いう関係は、DAGの到達可能性(AからBに、有向パスを辿って到達可能か)という関係性として表されます。このような推移的関係は半順序と呼ばれる順序構造に対応しています1。ついて、その関係が「xよりもyが大きい」「yよりもxが大きい」「xとyは比較不能」のいずれかであるような二項関係です。考えると、空間全体は「xよりも大きい点の領域」「xよりも小さい点の領域」「xと比較不可能な点の領域」の3つの領域に分割されます。呼ばれ、特に、回転対称性を仮定すると、これらは円錐の形になります。包含関係によって表されます。Embeddingこれまでの議論をまとめると、以下の4つは全て同じことを指しているということがわかります。切り口の円板の包含関係と同値であることがわかります。円板(n次元の場合は、n-1次元球体)の包含関係によって推移的関係を表すことができるということがわかりました。2次元の(ユークリッド)平面を考えると、ちょうど、円のみからなるオイラー図によって包含関係を表現することに対応しています。学習することができます。具体的には、次のような目的関数を最小化します。ゼロより大きい値以上を取るように設定されたマージンです。値は、必ずしも正の値である必要がない点に注意してください。仮想的に「負の半径をもつ円板」を考えることができるということです。値が変わらないという性質(反対称性)があります。これは、「全ての半径を負にするということは、順序関係を反転させることに対応する」ということを意味しています。円板の集合として埋め込むことができることがわかりました。一種であるということを証明しました。次のようにわかります。上の三角形領域の包含関係として表されます。disk)と考えることができます。一種であることがわかります。ポアンカレ球の表面(双曲空間における天球)を考えると、これは球面上の円板になります。よる半順序の埋め込みは、球面への円板の埋め込みであるとみなすことができます。一種であることがわかりました。一種として比較することで、既存手法の様々な問題点が見えてきます。既存手法には"原点"が存在するため、木構造のような、上に行くほどノードの数が収斂していく構造を暗に仮定している。既存手法は、負の半径を許していないため、反転対称性が成り立たない。既存手法のロス関数は、負例に対して勾配が消失する領域があり、最適化が非効率である。いう統一的なフレームワークを考え、このフレームワークの中で既存手法を捉え直すことによって明らかになった問題点であり、本論文の貢献の1つと言えます。一種であることを見てきました。考えることができます。ユークリッド空間において、1つの円の周りに同じサイズの円を敷き詰めると、ちょうど6つの円が並びます。双曲空間においては、1つの円の周りに7個以上の円を敷き詰めることが可能です。円の半径が大きければ大きいほど、周りに並べられる円の個数が増えます。このように、大きな半径をもつ円板(=他の多くの円板を包含している)ほど、その周囲に多くの円板を配置することができるため、ユークリッド空間や球面に比べ、より複雑なDAGを埋め込むことができると考えられます。