ライブの音楽においてビジュアルの演出は参加者を巻き込みパフォーマンスと一体化する上でとても大事な要素です。有名なビジュアル演出では、Perfumeのライブプロジェクションマッピングがあります。その他には、ダフト・パンクの未来的なビジュアルオーディオショーもNosaj Thingのライブと、スタイルが違うのに見ている人が思わず引き込まれてしまう驚きがあります。
音楽とビジュアルをつなぐテクノロジー。上のようなライブパフォーマンスでも音楽とビジュアルがそれぞれを補完し合って、データを図形化・記号化して素晴らしいリアルパフォーマンスを演出しています。もしこれが個人レベルで周りにあるガジェットを使ってインタラクティブに映像表現できるようになれば、大物アーティストや大掛かりなステージセットだけに制限されず、クラブやライブハウス、もしかしたらYouTube動画を撮影する自宅でもひと味違った演出ができ、ライブパフォーマンスの可能性も広がるかもしれません。
Perfumeをサポートしているライゾマティクスのような大掛かりな演出は1人ではできない。でも、個人が小規模レベルで普段と違う演出ができれば、見ているオーディエンスに「おっ！」と思ってもらえる新しいライブ体験を提供できるはず。その意味でも、技術を使った音楽と映像の組み合わせがもっと一般レベルでも実現可能になることは、音楽体験を楽しむ上で重要なポイントだと思っています。
そんなことを結構長い間（Underworldのライブに行きだした2000年代始め頃）考えていたら、先月開催された日本発の音楽ハッカソン「Music Hack Day Tokyo 2014」で音楽と映像を見事にミックスしている音楽ハックのデモを見る機会に出会いました。
Web Browser VJ
「Web Browser VJ」は、SoundCloudの音源をMIDIデバイスとLeap Motionをコントロールして音楽を直感的にビジュアライズするウェブアプリです。SoundCloudからの引っ張ってきた音データのオーディオ信号をLチャンネル・Rチャンネルの独立した形でビジュアライズでき、外部デバイスで制御する音楽ハック。ハードウェアとソフトウェアが見事に融合し、MIDIコントローラーやLeap Motion、SoundCloudなど個人レベルでも入手できるテクノロジーを応用した面白い音楽ハックです。
説明で伝えられているか分からないので、映像をご覧ください。かなりデバイスとの連携がスムーズです。
「Web Browser VJ」を開発した「ワタナベ」氏（@sascacchi）は音楽ハッカソンのため静岡県からやってきたエンジニア。週末には実際にクラブやカフェでVJとして活躍しているそうです。
ワタナベ氏曰く、ブラウザとMIDIやマイク、カメラやセンサーといった外部デバイスがインタラクティブかつリアルタイムでつながる時代が始まりつつあり、今はまさに転換期にあるそうです。音楽と映像の領域でも、何か面白いトレンドが今後起こりそうな気がします。
「ワタナベ」氏は「Web Browser VJ」の今後について
現状、Web MIDI APIはGoogle Chromeでしか動かない。すべてのブラウザで標準的に使えるように、このAPIが盛上がって欲しいし、盛り上げて行きたい。
音と映像をシンクさせる表現方法は今に始まったことではないが、今でも大いに可能性があると感じている。まだまだ、やれることがたくさんある。今後もそこを追求して行きたい。
と答えてくれました。
最新情報はこちらのサイトでチェックできるので、気になる方は見て下さい
https://www.facebook.com/AMEI.WebMIDI
「Web Browser VJ」で使用されたAPIです。
■ Web Audio API – オーディオをシンセサイズできるAPI
http://www.w3.org/TR/webaudio/
SoundCloud の音声をこのAPIに入力。周波数解析やフィルタリングなどの信号処理を行う。
■ Web MIDI API – MIDIを扱うことができるAPI
http://www.w3.org/TR/webmidi/
MIDI コントローラーの情報を受信してSoundCloud や Web Audio API を制御。
■LeapJS – Leap Motion 用の JS ライブラリ
https://developer.leapmotion.com/leapjs/welcome
Leap Motionにかざした指の本数を検知し、Lowpass Filter（Web Audio API）のカットオフ周波数を制御。
■Canvas
HTML5の描画API。Analyser（Web Audio API）の解析結果をVisualize
こういう音楽ハックって凄くライブ向きですね。VJやDJがミックスと一緒にコントロールできるようになれば、オーディオ・ビジュアルショーが簡単に出来るようになるかもしれませんよね。
この技術が進化してオーディエンスもジェスチャーで直感的にビジュアリゼーションをコントロールできる参加型インターフェースにできればいいですね。例えば、オーディエンスがスマホをコントローラーとして使って流れる音源をコントロールしてビジュアライズしたり。出来るのかな？ 感度の高く検知範囲の広いリープモーションやKinectが作れれば実現可能かもしれませんね。ライブやクラブの一体感が変わりそうでワクワクします。
