Multimodal connectoR:
A Multi-Participant Audiovisual Experience Using MR

Multimodal connectoRは、複数人で体験する複合現実(mixed reality; MR) 技術を用いたオーディオビジュアル・アート作品です。体験者はMRヘッドセットHoloLensを装着して作品を体験します。体験者は、人差し指と親指による”Air tap”ジェスチャーによって、音の元となるノートオブジェクトを空間上に配置できます。ノートオブジェクトが各体験者の頭部間をつなぐトリガーライン(帯状のオブジェクト)と衝突すると、オーディオビジュアルが生成されます。この時、音の高さはノートオブジェクトの空間上での高さと紐づけられています。さらに、ハプティックデバイス「ほろふれる」は、体験者がノートオブジェクトに「触れる」ことを可能にします。これはノートオブジェクトの高さに応じてオブジェクトの硬さが変わることで表現されています。体験者の意図的な動き、無意図な動き、他の体験者や展示環境との関係によって多様なオーディオビジュアルが生成されます

「空間に音を描く」

Multimodal connectoRは、「空間に音を描く」をテーマにしたプロジェクト(DSMRプロジェクト)から生まれた作品(システム)の一つです。これまで、同テーマの元、”Draw Sound in MR Space,” “Air Maestros”等を発表しています。

DSMRプロジェクト

Drawing Sound in MR Space:
A Multi-User Audiovisual Experience in Mixed Reality Space

Multimodal connectoRと同様に、HoloLensを用いて複数人で体験する作品です。体験者は、空間にバーチャルな線を描いてオーディオビジュアルを生成します。描かれた各々の線は、線の開始点から終了点まで繰り返し動く点状のオブジェクト(ポイント・オブジェクト)を1つずつ持ちます。描かれた線が他の線と重なり、ポイントオブジェクト同士が衝突した時、パーティクルとサウンドによるオーディオビジュアルが生成されます。衝突した位置の現実空間での高さがオーディオビジュアルのサウンドの音高と関連づけれられています。体験者は描かれた線を動かしたり消すこともできます。

Abstract (ACM page)

「人間・テクノロジー・環境」が生み出す新たな場

リアリティを変容させる技術の一つであるMRテクノロジーと芸術的行為との接点の考察から生まれた新たな場として、、、

Air Maestros:
A Multi-User Audiovisual Experience Using MR

Multimodal connectoRと同様に、HoloLensを用いて複数人で体験する作品です。体験者はノートオブジェクトをMR空間に設置します。特定のジェスチャーによって光る球状オブジェクトを手元から発射し、ノートオブジェクトに当てるとオーディオビジュアルが生成されます。本システムのコンセプトは「一般的なDTM用のミュージックシーケンサーを、MRを用いて3D空間に展開し、マルチプレイ化する」というシンプルなものです。

Abstract (ACM page)

 

About this work

Multimodal connectoRは、南国ソフトが運営するNangok R/Studiosと名古屋市立大学芸術工学研究科アート&メディア・エクスペリエンス研究室(中川研究室)によるコラボレーション作品です。アート&メディア・エクスペリエンス研究室の研究[†]をベースに、ハプティックデバイス「ほろふれる」 [‡]による触覚フィードバックや空間マッピング技術の応用を統合させ、体験をアップグレードさせています。
また体験者のMixed Reality体験をリアルタイムにタブレット上で可視化することで、より多くの方々に体験を共有します。

[†] Multimodal ConnectoR: 複合現実によるマルチプレイ・オーディオビジュアル表現システム, 小松原 崚, 中川 隆, NICOGRAPH 2018, pp.158-159   2018

[‡] 「触覚複合現実 ほろふれる」はNangok R/Studiosと(株)栗本鐵工所が共同で開発したHoloLens専用コンテンツで、モノの硬さや柔らかさをフィードバックすることができる技術です(特許出願中)

Project member

Nangok R/Studios(秦勝敏、村上正樹、小池郁生)

Art and Media Experience Lab(中川隆、小松原崚、太田拓、大橋さゆり、薗部健)