「リコメンデーション」「サブスクリプション」「ストリーミング」…。近年、急速に変化する音楽テクノロジーは、今後音楽の世界をどのように進化させるのか？ Apple MusicやSpotify、AWA、LINE MUSICなど、広がり始めた定額制の音楽サービス。音楽の聴き方が変貌している一方で、アーティストとライセンスの問題など、テクノロジーによって生まれる課題も増えています。音楽とテクノロジーは寄り添って進化できるのだろうか？ そして音楽の楽しみ方はテクノロジーでどう変わるのだろうか？
そんな大きなテーマを紐解く糸口を探るべく、プログラマー、DJ、メディアアーティストでもある、Rhizomatiks Researchの真鍋大度さんにお会いし、単独インタビューをさせて頂きました。
真鍋さんは8月21日から3日に渡り都内で開催された、世界的な音楽ハッカソン「Music Hack Day」日本版の審査員を務めました。Perfumeのライブ演出の技術サポートやNosaj Thingのミュージックビデオやオーディオ・ビジュアルショーなど多数のアーティストとのコラボレーション・プロジェクトに積極的に携わってきた真鍋さん。一方で人工知能やドローン、センサーなどのテクノロジーを活用したアート作品や実験的なプロジェクトを海外フェスティバルで数多く発表し、メディアから賞賛を集めるほど、あらゆるテクノロジーと音楽の常識を再構築できる”音楽ハッカー“です。
あらゆる場所で好きな時に楽しめるように進化してライフスタイルを変えつつあるデジタル音楽。この世界は私達が本当に求めていた音楽の未来の姿なのでしょうか？音楽を媒体として、メディアや技術の在り方を常に模索してきた真鍋さんには、テクノロジーが変革する音楽世界の先は何なのかを、聞いてみました。これまで真鍋さんが語っていない話を含めて、7500文字以上に及ぶインタビューをお届けします。
===
PROFILE
真鍋 大度 | Rhizomatiks Research
メディアアーティスト、DJ、プログラマー
2006年Rhizomatiks設立、2015年よりRhizomatiksの中でもR&D的要素の強いプロジェクトを行うRhizomatiks Researchを石橋素氏と共同主催。プログラミングとインタラクションデザインを駆使して様々なジャンルのアーティストとコラボレーションプロジェクトを行う。
2008年、自身の顔をデバイスとして用いて制作した『electric stimulus to face-test』 を世界30都市以上で発表。その後Ars Electronica（Linz）、STRP Festival（Eindhoven）、Resonate（Serbia）、Sónar（Barcelona）などの海外フェスティバルに数多く招聘され、様々なインスタレーション、パフォーマンス作品を発表。
インスタレーション、データ解析を担当した『Sound of Honda / Ayrton Senna1989』は2014年 Cannes Lions International Festival of CreativityにおいてTitanium & Integrated部門グランプリを含む15の賞を受賞している。
国内外のミュージシャンとのコラボレーション・プロジェクトも積極的に行い、Nosaj Thing、FaltyDL、Squarepusher、Timo Maas、岡村靖幸、やくしまるえつこらのMV監督のほか、坂本龍一とのインスタレーション作品『Sensing Streams』、Nosaj Thingのライブセットのビジュアルディレクションとプログラミング、Perfumeのライブ演出の技術面を担当。2011年よりダンスカンパニーELEVENPLAYとコラボレーションし、コンピュータービジョンなどの機械学習技術、ドローン、ロボットアームなどのテクノロジーを用いて作品制作を行う。
http://daito.ws/
https://twitter.com/daitomanabe
===
ー お忙しい中、お時間をいただき有難うございました。今日は音楽の未来がテクノロジーとの関係によってどう変化していくのか、真鍋さんのお考えを聞かせて頂ければと思っています。早速ですが、最近はどのような音楽プロジェクトに関わっていらっしゃいますか？
真鍋：今海外アーティストのミュージックビデオ（MV）をRhizomatiks Research、takcom、MIKIKOさんで作っています。もうすぐリリースできると信じてます（笑）。今、ライブの話以外にもビデオを作ってくれというオファーは多いですね。10月にも制作に携わった海外アーティストのMVがリリースされる予定です。自分の好きなアーティストを人づてで紹介してもらう時もありますし、僕がSoundCloudやMixCloudのアカウントを持っているのがきっかけで、ミュージシャンから直接アプローチされることもありますね。最初はDJプレイ用のサウンドファイルのやりとりから始まって、「何か一緒にやろうよ」みたいな感じになります。
今MVの予算がどんどん少なくなっていることもあり、なかなか全部やるわけにはいかないですけれど、年に3-4本はやっていますね。
歌があるトラックはMV制作も少し変わってきます。例えばNosaj Thingの”Eclipse Blue”は演出振付家のMIKIKOさんにお願いをして歌詞を踊りに翻訳してもらっています。インストだと、結構自分の解釈で自由に曲のイメージが作れるんですけれど。例えば、これ前に作ったTimo MaasのMVですけれど、楽曲を聴いてイメージした機械を作って動かしている様子を撮影しました。
あとはスクエアプッシャーのMVですね。これはロボットバンドが演奏するというお題があって、ロボットの制作やシステムは他のチームがやっていて僕は撮影監督をお願いされました。最初は他の監督が候補に上がっていたそうなのですが、その方の作っていた過去のMVの音楽性や世界観がスクエアプッシャー本人的にはハマらなかったらしく僕にオファーが来たそうです。TimoのMVと同じ様にミニマルな印象が前に出る様に撮影しました。
僕自身も音楽に対するこだわりは大きい方なのでミュージシャンとのコラボレーションは厳選しています。サカナクション、Hifana、岡村靖幸さん、RadWimpsの野田洋次郎くん、やくしまるえつこさんなど、国内のミュージシャンとコラボしましたが、彼らの音楽、音楽に対する姿勢にリスペクトしているので一緒に作業出来ることは自分にとって何よりの体験です。
VJは、音と映像の関係を瞬発力でどう構築していくかが重要な気がしますが、MVの場合は一曲を何度も聴き込んで構成を作る面白さがありますね。VJも最近はGracenoteやEcho NestのAPIを使ったりscikit-learnやgesture-recognition-toolkitなど機械学習のライブラリを多く使うようになってきました。単純なオーディオリアクティブな時代から推定、認知の時代に移行し始めましたがIBMのワードを借りてコグニティブ(VJ)と呼んでます。
音楽ハッカソンが問いかける新しい音楽テクノロジーの意義
ー 真鍋さんは今月開催の「Music Hack Day Tokyo」の審査員を務められました。真鍋さんは音楽ハッカソンにはどのようなイメージを持っていらっしゃいますか？
真鍋：バルセロナでSónar Festivalに呼ばれてパフォーマンスをした際に音楽ハッカソンは見に行きましたが、パフォーマンス系やデバイス系も多かったのが印象的でした。提供されるAPIの形式上、ウェブ中心のプロダクトが作りやすいと思うのですがそこからいかに脱却するかがポイントという感じでしょうか。あと、アート系のワークショップと違って作品というよりもツールとかサービスを作ろうとする人が多いですよね。音楽の新しい聴き方やリコメンデーションを提案するアプリとか。
メディアアーティストのGolan Levinがプレゼンで使っていた制作における三つのベクトル、Useful, Beautiful, Interestingを使うとハッカソンは「Useful」（便利）なモノを作る人が圧倒的に多いと思います。次が「Interesting」（面白い）。「Beautiful」（美しい）なモノ、クラフトに時間がかかるものを作る人はなかなか出てこないかもしれないですがそういったものも見てみたいですね。
プロダクトは、すぐにでもリリース出来る実用的なサービス開発を目指す方向性と、今のインフラやAPIだと実現できなさそうだけど10年後くらいには出来そうだから提案として作ってみるという方向性、大きく二つがありそうです。
アイディアは出尽くしている気がする
ー 後者の取り組みで真鍋さんが進めているのが人工知能DJイベントですね。
真鍋：人工知能DJはまだまだ実験段階なのですが、実際のお客さんのデータ、フィードバックを実際に使うのが大事かなと思っているのでリアルイベントを開催しています。共同オーガナイザーでプログラマーの徳井直生くん（@naotokui）はネット上のプレイリストを収集して選曲エンジンを作っていて、僕は自分の過去8年間のプレイリストをGracenoteのSDKで解析しつつ、観客の会場の位置情報+観客のiPhoneに入っているプレイリスト、会場のセンサデータを使っています。あとは自動ミックスのアルゴリズムを頑張っているので単純なフェードインフェードアウトではなく綺麗にリアルタイムでミックスされているところに着目してもらえると嬉しいです。キー、テンポ以外にも幾つかのデータを使っていますが自分でもびっくりするくらい良いミックスや選曲をする時があります。そういうのを聴くと自分がやるより面白いなぁと純粋に思いますね。
全体的には未完成だと理解していますし、サービスとしてもまだまだ出せないものですけれど、何かしらアプリを出したいねと、徳井くんと話しています。
GracenoteやEcho NestのAPIはすごく便利で、例えばGracenoteなら楽曲単位ではなく楽曲のイントロ、Aメロ、曲の何秒から何秒は明るいムードで、何秒からは暗いみたいに、時間情報が紐付いた細かいデータを取得出来ます。もうちょい精度が欲しいと思うところも正直あるのですが、機械学習に使う基礎データは手動でムード情報を付与しているとのことで(2.5万曲)個人で出来る規模や精度ではないですね。VJやリコメンデーションのほか色々なことに使えます。でもその使い方って大体APIを設計したエンジニアたちが描いているものですよね。
実際にGracenoteが出しているAPIを使ったお手本アプリがあるんですけど大体のアイディアはそこで出尽くしている気がしています。じゃあ開発者の人たちが考えていないことを考えようとすると、例えばセンサを増やすとか違う領域のデータと組み合わせるとか色々とチャレンジすることになります。あと例えば、今日も某ソフトウェア開発会社を訪問して来たのですが公開APIは制約だらけなので、そういう制約を外して使わせて欲しいと交渉します。”その制約が外れるとこんなことができるんですよ”みたいな説明しながら。
ハッカソンでも取り上げられたPepper君を借りていた時も、”まず可能な限りリミットを外してくれ”と言いました。衝突に対するセンサーや安全に対するセンサーが付いていますけれど、それは自分たちで制御するから全部一回外してくれと。それでむちゃくちゃに動かしてみて、面白い使い方を探すみたいな。そこは自己責任になっちゃうのですけれど。
ハッカソンは割りきってプロトタイプみたいなものでもいい
真鍋：ハッカソンは期間が凄く短いので、クオリティの高いモノを作るのは難しいですけれど、ハッカソンはそういうものだと割りきって良いと思いますがなんとかワーキングプロトタイプまではこぎつけたいですよね。そこでアイディアの種が出てきたらいいなあと思います。
例えばJINS MEMEは目の動きを計測してEOG（眼電位図）を解析していて、今集中しているか眠いかとかを認識できるわけですけれど、あの手のプロトタイプは自分でも2010年くらいに作っていたんです。眼電位の数値を解析してTwitterアカウントに自動投稿するとかしてました。レム睡眠とかノンレム睡眠とか。あと目の動きだけじゃなく、顔にもセンサーをつけていたので、歯ぎしりとかまでも測れたんです。それが5年経つとプロダクトになって、一般ユーザーが使えるようになる。僕は荒々しい状態でも実際に動くものが作れたらまずは良しとしてしまうのですが、本当はサービスやプロダクトまで作れればいいんでしょうね。でもプロダクトを作るというのは、また違った技術が必要だと思いますし難しいものです。
テクノロジーを進化させる時と社会への問題提起
ー 真鍋さんが新しいプロジェクトを始められる時や何かを作る時、意識されていることは何ですか？
真鍋：メディア・アートの世界はどちらかといえば、完成したモノというよりも、社会に実装される前に実験をしたり、最初に問題提起をするようなことが求められている気がします。
「やくしまるえつこ、特設サイトで個人情報だだ漏れ」とナタリーに書いてもらったこの記事があるんですが、電極や配線丸出しだったものをメガネタイプまでコンパクトにして「やくしまるえつこ」に付けたんですよね。夜中はそのセンサーを付けた状態で生活してもらって、センサーデータをストリーミングで公開していました。
●関連記事
やくしまるえつこ、特設サイトで個人情報だだ漏れ – 音楽ナタリー
ウェアラブルのデータって一見匿名性が高いように思われるんですが、データを大量に収集して解析にかけたら個人が特定できてしまうかもしれない。だから、解析技術が進んだ際にどこまで公開したらプライバシーやセキュリティの問題がでるか、センサデータに著作権は適応されるのか、を実験してみたらどうなるのかとそういう意図はありました。やくしまるえつこさんで公開実験した感じですね。生体データとGPSデータや、生体データと聴いている音楽が組み合わさっていくと、心拍や呼吸などのデータに価値が出てくるじゃないですか。「PerfumeのPick Me Upを朝8:00に心拍数150で聞いている人が渋谷にいます」とか。いろんなデータと組み合わさった時に生体データが価値あるデータになるので、みんなウェアラブルを使って情報を取りに行くと思ったんですね。そしてそれが現実になった時に、二次利用にはどんな規制がかかるのか、そういったことを想定してました。
ー 最近でしたら手首でもデータが取れるデバイスは増えていますね。
真鍋：当時は少なかったですが今はスポーツ、医療のためのウェアラブルデバイスはすごく多いですよね。健康のためという名目でデータを収集して別の目的で二次利用するということだと思います。データがターゲティングに使われるようになった時にどういったことが問題になるか。テクノロジーの使われ方を先読みして一足先に問題提起しつつ、実際に動くものを開発してしまうのがメディアアーティストかなと思います。
人工知能にも同じようなところがあって、音楽でもリコメンデーションの精度が高くなりすぎると、気持ち悪いと思うんです。「これ聴きたい」と思った時に、本当に聴けるようになると、逆に違和感が湧いてくる。例えばFacebookで表示される広告も、自分の行動履歴と距離が近すぎると気持ち悪い。音楽でも、今はまだリコメンデーションの精度が低いので、気持ち悪さは感じないと思いますけど、これ以上精度が上がっていった時にどこから気持ち悪くなるかというのは凄く面白いなと思っています。どれ位プライベートな情報を人工知能に渡すべきか。自分のことを自分よりも良く知っている存在がそろそろ出てくると思うのですが、その時何が起こるかということに尽きるかもしれないですね。
音楽リコメンデーションの存在価値とは？
真鍋：音楽の聴き方に関して言うと、お客さんをどう踊らせるかとか、どの曲とつなげやすいかを考えて聞いていることが多いので、僕は特殊な聴き方をしていると思います。でも、例えばスティーブ・ライヒが寝る前に聴いている音楽は何なのかは知りたい(笑)。ライヒに普段聴いている曲を公開してくださいと言ったら「嫌だ」と言われそうですが、プレイログをベースに作られた人工知能を開発させてくれとオファーだったら引き受けてもらえるかもしれないですよね。ニュースは匿名のリコメンデーション、キュレーションでもいいかもしれないですが、音楽のリコメンデーションは個人の価値がまだまだ高い。Spotifyで他の人が聴いている音楽をタイムラインで表示されるのが面白くて良くチェックしてるのですが、あれも知らない音楽と出会う新しい形ですよね。
DJの世界を変革する人工知能とストリーミング
ー 真鍋さんはご自身もDJをされて、さらに人工知能DJイベントも主催されています。ただDJというカルチャーはデバイス面での変化はありますが、特に大きな変化を受けずに来ているように感じます。今後DJの世界はどう変化すると予測されますか？
真鍋：DJに関して言うとカメラのオートマチック化と同じく自動化がこれでもかというくらい進む気がしますね。人工知能がフロアやお客の状態を解析して選曲してミックスまでやってくれて、人間はちょこっとフィルタやエフェクトをいじったり、ジェスチャーでオーディエンスを煽ったりという感じになるのではないでしょうか。ジャンルによっては需要がある気がします。そうなると株取引のアルゴリズムを売買するサービスのように、DJのAIが売買されるようになりますね。裏では人工知能がDJしてブースではセレブDJがセクシーにお客を煽るということも起きそうです。非常に合理的ではないでしょうか。人気のある曲や定番曲を選曲してミックスするのは、アルゴリズム的にも楽だと思いますし。あとは人間とAIが共存する世界。「今日はこのアルゴリズムで行こう」みたいな感じで、ある程度の選曲まではやってくれて最後のミックス作業や10曲の中から1曲を選ぶような作業は自分で行う。サブスクリプションベースのDJになると100万曲から次の一曲を探す作業になるので有効ですよね。しばらくは事前にプレイリストを作ることになると思いますが、その作業すらすぐにバカバカしいものになってしまいそうです。
ー 実現するには、何が必要なのでしょうか？
真鍋：今現在はSpotifyやApple Musicなどのストリーミングサービスを使ってきちんとミックスまでをやってくれる人工知能DJを開発するのは若干ハードルが高いです。Spotifyを使える環境としてはDjayが有名ですが、そのアプリ自体にはAPIがないためにカスタマイズができないのです。そのため自作のアルゴリズムやソフトウェアを組み込んだり、別アプリとの連動が出来ない。DJの世界が先に進むためには、SpotifyやApple Musicの楽曲を自由に支えつつ、ディベロッパー向けのAPIやSDKが用意されたDJ用ソフトウェアが出てくることが必須ではないでしょうか。少しでも良いのでオープンにしてくれると、次のステップが見えてくるかなと思います。
真鍋大度が見据えるDJとサブスクリプション
真鍋：将来、ほとんどの方はサブスクリプションの音楽サービスでDJするようになるじゃないですか。僕はそれはミュージシャンにとっては良いことかもしれないと思っているんです。どれだけ自分の楽曲がプレイされているのかがデータで正確に把握できるようになる。今までの様にヴァイナルでプレイしているとDJプレイにおけるミュージシャンに対する楽曲使用料をきちんと徴収する仕組みが作れないと思うのですが、サブスクリプションになれば、きちんと管理ができる。
オーストラリアでは、パイオニアが出している新しいDJミキサーに使われるテクノロジー（KUVO）*を使って、DJが何をプレイしたかをきちんとカウントして、DJやアーティストにお金が行く仕組みを作っているという話も聞いたことがあります。本当はDJの世界でもDJだけではなく楽曲を作っているアーティストにお金が回っていく仕組みを作らなければならない。サブスクリプションが本格的に導入されれば、長い目で見るとアーティストにお金が入る方法が作りやすくなると思います。多分パイオニアさんとかその辺を考えてミキサーや周辺デバイスの設計をされていると思います。
* Pioneer DJ deal | APRA AMCOS
今はテクノロジーが進化しすぎたせいでミュージシャンに不利な状況が続いていますけれど、そこから巻き返してフェアな環境ができるチャンスはある。
僕、アナログレコードがまた売れるようになってきた現象が不思議なんですよ。昔からレコードで音楽を聴くのが好きなんですけれど、売上が何倍にも増えているっていうじゃないですか。それって凄く希望のある話だなと思う反面、この先ずっとアナログがトレンドでい続けるかというとそうはならない気もします。ダウンロードのクーポンが付いているのは合理的だと思いますが、この先はサブスクリプションとの共存を考えていく必要もあるのかなと思います。
ー 今日はありがとうございました！
音楽テクノロジーと人の先にある新世界を見据える真鍋さん。メディアや観衆をワクワクさせる作品を創る一方、根幹にはテクノロジーとユーザー、そしてクリエイターが共存できるギリギリの境界線を探求するような鋭い思想を感じました。音楽サービスやテクノロジーの変革は続きますが、まさか「真鍋大度のDJアルゴリズム」がBeatportで手に入る時代が本当にやって来るかもしれません。
協力：Rhizomatiks Research、Gracenote株式会社
企画／インタビュアー／撮影／執筆：ジェイ・コウガミ
