2020年初頭から続く世界的なコロナ禍によって、大きな影響を受けているライブエンタメ業界。
現在も様々な場面で感染拡大を防ぐための制約は続いていますが、そんな状況を受けて、音楽とそこから生まれるエネルギーや感動が再び繋がる場所として立ち上げられたライブ配信プラットフォームが、スペースシャワーがプロデュースする｢LIVEWIRE｣です。
その｢LIVEWIRE｣では今月9月13日に、今年5月に予定していた全国のZEPPツアーが延期となった人気ラッパーのPUNPEEによるライブ｢LIVEWIRE PUNPEE “Sofa Kingdomcome”｣を生配信しました。渋谷の街角からスタートし、途中でライブハウスのWWW Xへと舞台を移したライブは、ヒップランド、SEP、BACKSPACE Productions Inc.（以下BACKSPACE）の3社によって開発されたリアルタイムXR（クロスリアリティ）配信システム｢Chausie｣によって、現実とバーチャルが見事に混ざり合ったXRライブを実現。視聴者の多くから｢新しい配信ライブの在り方を提示した｣と言わしめるほど好評を博しました。
そんなライブで、触れ込み通り、見慣れた会場を新たな“場”へと進化させた｢Chausie｣ですが、果たして一体どんな設計思想の元に開発されたシステムなのでしょうか？ 開発に関わったBACKSPACEの清水基さん、比嘉了さんのお2人と、スペースシャワー / LIVEWIREプロデューサーの串田さんにお聞きしました（串田さんはコメントでの参加）。
今までのコンサート演出技術の延長線上のものとしてライブ演出を強化
──Chausieで実現できるXRライブとはどのような位置付けのものでしょうか？
清水：昨今、配信ライブを見かける機会はすごく増えました。そこでは、演者やDJ、機材以外が全部CGになったようなものもよく見かけますよ。そういったものはグリーンバックを背景にして、そこにCGで壮大な背景などを合成していくのですが、先日のPUNPEEさんのライブでは、会場になったライブハウスのWWW Xをそのまま使ったという点で他のものとは異なります。そもそもの完成度が高いPUNPEEさんのライブに加え、さらに世界観を強化させる為のCGを、WWW Xのホールに組み込むというようなことをしました。これを実現させる為に開発した仕組みのことを｢Chausie｣と呼んでいます。
今回はCGで演出をつけたというより、照明さんやカメラさんなど、今までライブに関わっていた人の技術やノウハウをお借りしながら、それらを活かしつつ、Chausieでライブ演出を強化するという位置付けです。
比嘉：同業者からも聞こえてくるのは、現在の配信ライブで培ったノウハウは、コロナ収束後のリアルライブにも統合されていくだろうという意見です。Chausieの話でいえば、今は配信に乗せる“リアルタイムARシステム”という形でやっていますが、例えば、コロナ禍収束後は、現場でリアルタイムにバーチャル合成カメラを使い、お客さんがよりライブを楽しめるようにステージ脇の映像を映すなど、ある種のバーチャル舞台セットを作るためのものとして使用することも考えられます。
清水：そういう意味では、今回は本来お客さんがいたであろう場所にCGのオブジェクトを浮かせることでセットを作ったと言えるので、“CGで舞台セットを創った”というのが正しい捉え方かもしれないです。｢現実に侵食するCG｣を目指しました。
技術的な優位性として挙げられるのは“拡張性”と“場所性”
──では、Chausieの技術的な優位性はどういったところにあるのでしょうか？
比嘉：今回のライブではPUNPEEさんのリリックに沿いながらCGのオブジェクトを出現させているのですが、そういった演出は今まではプロジェクションやLEDスクリーンで出していました。ただ、その形だと“枠の中”にあるものに見えてしまうので、一目で映像だとわかってしまいます。でも、それが実際の空間に3DCGで合成されて立ち上がってくることで、平面的ではなく立体的なものになるため、観ている側としても印象はかなり変わっていきます。そういった演出は時間やコスト面での負担が大きくなりますが、バーチャルだと可能になるので、Chausieでは技術的にはどんな演出も可能だし、今までやりたくてもできなかった演出もできるようになります。
世界観を作り込むという意味では、グリーンバックでCGを乗せるほうがCGクリエイター側のコントロールの幅が広くなって楽なんです。でもChausieでは、物理空間の上にバーチャルなものを乗せる時に、実際のステージ側のデータをCG側にも引き入れているので、例えば物理的な照明の色が変わるとCGの照明にも色が付くとか、そういったことをするだけで、映像の印象がものすごく変わるんです。逆に、リアルの世界にいる照明さんが、CGと同時にリアルの照明を調整できるなど、CGの中で起こることも現場の演出側で管理することができます。つまり、CGの世界で起こる演出と実際の演出のタイミングがズレなく合っていれば、CGの演出も実際の演出のように錯覚してリアルなものとして感じ取ることができます。そういった効果を生み出せるのもChausieの技術的な優位性である“拡張性”のひとつです。
比嘉さんによる、リアルな照明の色とCGの照明の色を連動させる実験
清水： CGとリアルの照明を繋ぐ以外にも、いろいろなものを繋げる余地があると思っています。またその際は、コンサート演出スタッフの技術や経験を活かしながら機能的に拡張していけるという面もあります。
──たとえばどんなものと繋げる可能性があるのでしょうか？
比嘉：現時点では具体的に何と繋ぐかはまだ決まってないのですが、クレーンやウィンチなどリアルの舞台装置にある動きモノとCGを連動させたり、仮想の音源とCGを連動させるようなアイデアもあります。音源でいえば、ステージ上の右側だけに音がなるスピーカーのオブジェクトみたいのがあったとして、カメラが右側を向いている時は正面から音が聴こえてくるし、カメラが正面を向いている時は右側から聴こえてくるような、より一人称視点でのARと言えるような不思議な体験に発展する可能性も考えられます。
そういう思いついたアイデアをその都度付け足していけるのはChausieの強みなので、技術的な優位性においても、やはり“拡張性”があります。Chausieは、細かいパーツに関しても自分たちで手作りしています。市販ソフトだけを使っていると融通が効かない場合もありますが、僕らはシステム基礎部分の開発から表現部分まで作れるので、新しいアイデアを追加しやすいことが強みになっています。
清水：それと“場所性”も優位性にあたります。グリーンバックのスタジオのようにどこでやっても変わらない環境でやるよりも、今回のWWW Xのような、実際にライブをやってきた慣れ親しんだ場所でやれるということが大きいです。みんなが知ってるライブハウスを舞台にやることは、本当なら現場に来たかったお客さんに対しても、演者に対しても意義があるはずです。今は奇しくもコロナ禍の影響を受ける形になりましたが、自分たちも昔、演者として出演していた場所であり客としても行く場所。あくまでこれまでのライブ、コンサート演出技術の延長線上にあるという意味で、文脈的にも正しいと言えるのではないかと思います。
こだわったのはリアリティに繋がるCGのディテール
──今回のライブで、チームとして表現に最もこだわった部分はどの部分でしょうか？
串田：PUNPEEさん独自の世界観を、新たな生配信というエンタメコンテンツにどう落とし込むかという点です。
比嘉：突き詰めていくとリアリティに繋がる部分なので、象やギズモなどライブ中に出てきたCGのディテールにはこだわりました。実際にはこだわるべきポイントは無限にありましたが、決められた制作期間がある以上こだわれるものも限られてくるため、今回はそもそも作り物っぽさがあるCGに、どれだけ現実味を持たせるかを重視しました。
──確かにKREVAさんがバーチャル出演した宙に浮くモニターは、違和感を感じないくらい現実に溶け込んでいた印象がありました。今回は4曲でChausieによる演出が行われましたが、制作期間はどれくらいでしたか？
清水：PUNPEEさんサイドからオーダーが来たのが大体ライブの1ヶ月前くらいです。その時点で結構細かく演出の要望をディレクターのSEP新保さんがまとめてくれていました。技術的にこれは難しいとか、手間がかかるので省けたら嬉しい部分なんかを話し合いながら進めていきました。今回は、ボトムアップでシステムを作った僕らと、全体演出を考えてトップから指揮をとってくれるディレクターが一緒に作業した、初めての例になります。
──Chausieは、作り込まれたCGをリアルタイムでライブ映像に乗せて配信できることが特徴ですが、その発想はどういったことがきっかけになって生まれたのでしょうか？
清水：僕らはVJなどをやっていたことから、Chausieはその経験の延長線上にあるものだと思っています。
比嘉：カメラにつけるカメラトラッカーというデバイスがあるんですけど、それに興味を持って、去年の年末か今年の年始くらいにモーショントラッカーカメラを買ったのもきっかけになりました。それを使い続けていたら｢これ、なんかいろいろできるぞ!｣みたいになって。
以前からAR的なことができることはわかっていたのですが、さっきの照明の連動のようなアイデアは、最初からそういったことをやりたいというような明確なビジョンがあった上でできたものではなく、実際にカメラを使い続けているうちに｢これがこうなったら面白い｣とか、｢CGの質感がこういう感じにすると自然にいけるぞ｣みたいな気づきが積み重なって生まれたもの。その気づきと、どういうものを映像に乗せたら面白いかという企画の部分が、今回のライブでようやくがっちりハマった感じです。
──なるほど。では今、話に出てきたモーショントラッカーカメラを使うとどういったことができるのでしょうか?
比嘉：今、実際にChausieで使っているのは、カメラに取り付けるセンサーカメラという感じのもので、StypeというメーカーのRedSpyという光学式カメラトラッキングシステムになります。このシステムでは、収録用のカメラにRedSpyカメラを取り付けることで、カメラの位置情報とレンズデータをリアルタイムに収集を可能にし、その収集したデータをリアルタイムでCGレンダリングエンジンに出力することができます。
清水：モーショントラッカーカメラからは赤外線が放たれているのですが、今回はWWW Xの天井にシールをたくさん貼って、それに当たって反射したものをカメラに学習させることで地図を作っていったイメージです。
アーティストの伝えたいものを、音楽ではない別の形で伝える手段
──リアルタイムのライブ映像にChausieで映像を乗せることで、アーティストはどのような恩恵を受けられるのでしょうか？
比嘉：Chausieでは、平面ディスプレイに映像を映すよりも、よりイメージが多い情報量で立体的に表現ができるので、アーティストが作りたい世界観や曲がどういったものであるかを補強し、その具体度を増すことができます。その意味で“アーティストの伝えたいものを、音楽ではない別の形で伝える”という目的で行う｢ライブのVJ｣の正統進化だと言えます。ただそういったことができるなかでも重要なのは、演者よりも目立ってはいけないということ。あくまでアーティストが1番伝えたいものにスッと入っていけるためのものでなければいけません。
清水：今回のライブでは、僕らの担当した映像を見た後で、PUNPEEさんが音の部分において大胆に編集してくれました。例えば、水中のシーンでは音楽全体に思いっきりローパスフィルターをかけたりしていたので、｢えっ、いいの!?｣と思ったりもしましたが、映像と音のつじつまが合っていたので、表現としてより具体的になったと思います。特に今回のライブ音源は、今回の映像がなければ成り立たない特別なものなので、PUNPEEさんのファンの方にとっても嬉しいモノなのになったのではないでしょうか。その意味でアーティストは、Chausieによって表現したかったことを表現するための手持ちの武器が増えたと思ってもらえればと思います。
── スペースシャワー関連だと先月の｢SWEET LOVE SHARE｣は、ARなどテクノロジーで配信ライブをリアルライブの体験に近づけることを目指していたように感じました。今回のライブではChausieを使うことで何を目指したのでしょうか？ またXRライブの今後の方向性としてどのような形が考えられますか？
串田：AR部分も全てがリアルに思える空間を作る方向に行くと想像しますが、今回のようにハイファイな方向ではなく、あえてローファイなものを目指す作品作りも、またエンタメの形としてあると思います。
──今後、Chausieをどのような方向に進化させていくかについて、構想をお聞かせください。
比嘉：プロフェッショナルなライブプロダクションにハマるものとして発展させていきたいです。ライブの記録を配信に乗せるにしても、今だと機械の都合上、カメラひとつと固定のカメラの2つしか選べないのですが、それを増やしていくと、どのカメラに切り替えても同じCGが乘っている感じになり、そうするとよりライブのプロダクションにおけるリアリティが増すと思っています。次のステップに進むとしたらその方向です。
清水：今回は、関わった人全員が、ライブのプランニングをしている時点ではおそらく｢こういう結果になる｣みたいなことは想像できなかったと思います。でも、今回のライブで晴れて改善点も含めて｢ここはこうなるよね｣ということがわかったので、次はプランニングの段階から関わる人全員でもっと詰めた話ができるはずです。今後については、そういうことを繰り返すことでまずは基礎体力アップを図っていくことが大切になってくると考えています。
最後にPUNPEEさん本人が、今回のライブについて以下のようなコメントを届けてくれました。
この度は改めてLIVEWIRE PUNPEE編、見ていただきどうもでした。配信という形がLIVEとして避けては通れなくなってる今において、なんか新しいことをしてみたいなーと思ってた時に、自分のEPからヒントを得て、ARやVRの世界を生放送で表してみたいなーと思い、今回のLIVEにいたりました。
最後までわがまま聞いていただいたディレクター新保氏、BACKSPACE、釣部東京、SSTV、出演していただいた方々に感謝です。今後はオーディエンスの方がサングラスつけたらARで楽しめる的なカジュアルな未来になったりするんだろうなーとか考えたり有意義な時間でした。AR男優としてのスキルも将来必要になるのではと…。
個人的に、本番もそうでしたが効果音をつけている時が同じくらい楽しかったです（水中のシーンにフィルターかけるとか）。映画の効果音のドキュメンタリーを探して観たくなったのでおすすめあったら教えてほしいです。ーーP
インタビューによって、Chausieとは、端的にいえば、現実では不可能なことをテクノロジーによって可能にするものだということがわかりました。しかし、それはあくまでこれまでのライブ、コンサート制作で培われた技術やノウハウ、ライブハウスという存在が作るカルチャーの文脈の上に成り立つものであり、アーティストが伝えたいものを音楽ではない別の形で伝える手段の正統進化の形であることを意味します。
また、今回のライブではARによって現実世界に存在するもの、しないものの両方がバーチャルのオブジェクトとしていくつも登場し、現実世界と溶け込んでいましたが、今後、そういった形のXRライブが普及していけば、従来のようにリアルだけでなく、そういったバーチャルの部分にも価値を見出した企業がスポンサーシップやタイアップに付くようになるかもしれません。その意味でライブやコンサートビジネスの新しい展開方法にとしても注目したいXRライブ。そして、それを実現させるChausieに今後も注目です。
LIVEWIRE PUNPEE
“Sofa Kingdomcome”
今回の上記配信ライブは、9月20日（日）23:59までアーカイブ配信中。チケットは20日（日）21:00まで、LIVEWIRE WEBサイトで販売されています。
Edit: Sachiko Toda
