Multimodal connectoR (PM)

 

Ryo Komatsubara, Taku Ohta, Sayuri Ohashi, Ken Sonobe, Ryu Nakagawa

Multimodal connectoRは、複数人で体験する複合現実(mixed reality; MR) 技術を用いたオーディオビジュアル・アート作品です。体験者はMRヘッドセットHoloLensを装着して作品を体験します。体験者は、人差し指と親指による”Air tap”ジェスチャーによって、音の元となるノートオブジェクトを空間上に配置できます。ノートオブジェクトが各体験者の頭部間をつなぐトリガーライン(帯状のオブジェクト)と衝突すると、オーディオビジュアルが生成されます。この時、音の高さはノートオブジェクトの空間上での高さと紐づけられています。体験者の意図的な動き、無意図な動き、他の体験者や展示環境との関係によって多様なオーディオビジュアルが生成されます。

Multimodal connectoRは、「空間に音を描く」をテーマにしたプロジェクト(DSMRプロジェクト)から生まれた作品(システム)の一つです。

本作品は、MRコンテンツ開発に特化した企業(株)南国ソフト Nangok R/Studiosによってアップグレード作業を経て、アートイベントMETACITYにて展示発表されました。

(株)南国ソフト Nangok R/Studiosによる展示