3D motion of
scanned shibuya underground

いま、都市3Dデータを主に利用しているのは、都市計画や建築を行っている行政や企業というイメージだ。しかし都市3Dデータの可能性はそうした実務的なものだけでなく、アートやエンターテイメント等、様々なジャンルへと広がっている。かつてドイツのアート・コレクティヴART+COMの作品「TerraVision」が、Google Earthの登場以前アートの領域でそのコンセプトを示していたように、現在人口に膾炙するサービスや製品の根本がテクノロジー・アートの領域で示される事も少なくない。

3D City Experience Lab.ではそういった事例を産んでいくための基盤として、誰でも使用できる形で3Dデータを公開している。今回その一環として、渋谷地下のデータをビジュアルとサウンドで表現する映像作品を制作した。

この映像は、渋谷の地下のスキャンデータをビジュアライゼーションし、サウンドとビジュアルのコラボレーション・ピースとして作品化したものである。圧倒的な量のデータを、感動をもたらす美しい表現にアウトプットする。これを成し遂げることができたのは、クリエイターの想像する力と表現する力の賜物である。この作品を作り上げた、ビジュアル担当の堀井哲史、サウンド担当の黒瀧節也・HIROSHI WATANABEに制作過程を聴いた。

――映像の制作過程を教えてください。どのようなデータをまずもらって、そこから何を使って動かしていったのでしょうか？

3DスキャンしたデータはPTSという形式で、点と色の情報が羅列してるだけのシンプルなデータです。1cm間隔で点情報があり、総数は約35億点が１つのファイルに格納されていて、そのファイルサイズは、216GBになります。
このままでは、メモリに全て読み込める量ではなく、扱いにくいので、地図アプリでみられるような、深度に応じて粗密の違うデータを読み込む仕組みをつくる必要がありました。
そのために、まずデータを分割しました。

点群全体を包括する三次元のエリアをレベル０として、
そのエリアを8分割した８個のエリア群をレベル１、
さらに、８分割した６４個のエリア群をレベル２、
というのを繰り返して、レベル６まで、全部で１０、７０８個のデータに分割しました。
その際、レベルの低いエリアほど、点のデータを間引く量を多くしています。

これにより、カメラから遠いエリアは、点の荒いデータ、近いエリアは、細かいデータを読み込むことで、メモリ使用量も最低限に抑え、リアルタイムにプレビューできるようにしました。

――動きにおいてどのようなイメージがありましたか？リファレンスなどあったらお教え下さい。

徘徊するうちに、どんどん変容する空間に巻き込まれていく感じにしようとしていました。手持ちのカメラで撮影しているようなカメラワークをつけるために、ARKitを利用した、カメラワークをつくるためのiOSアプリを製作しました。
iPadに最小限のポイントクラウドをAR表示しながら、カメラの位置情報を別のPCに送信し、もう少し解像度の高いポインドクラウドを同時に表示。そのカメラの位置情報を記録。
CGの製作で行われるようなカメラのモーションキャプチャを、大掛かりなキャプチャ環境を使うことなく再現してみました。

――データを受け取ってからコンセプトが決まるまでに、どれくらいの期間がかかったのでしょうか？

１週間くらいデータをリアルタイムに扱えるように作業した後、いろいろな見え方のスタディをしました。その中で、切断する見せ方を見つけ、これを主軸に作ろうと決めました。切断は、ポイントクラウドの方が、メッシュ化されたモデルで行うより、計算コストが少なくできて、ポイントクラウドならではの見せ方でもあるし、構造を把握できて面白いなと思いました。

――本作品の制作期間はどれくらいでしょうか？

全体としては、３週間くらいかかっています。

――データの扱い方で苦労した点はありますか？

圧倒的な量ですね。

――堀井さんがこれまでに手掛けたデータビジュアライゼーション作品で想い出深いものがありましたらお教えください。

▼ Perfume official global website
このウェブサイトだけの独自言語によるプログラムでアニメーションを作成、共有できる、ユーザー参加型のウェブサイトです。
敷居の高い内容にもかかわらず、多くの作品が作られ、驚きました。

――データビジュアライゼーションをする時に、どんなことに気をつけて作品化しますか？

新しい発見ができるように。

――これまでに堀井さんが手掛けたデータビジュアライゼーション作品との共通点がありましたらお教えください。

全てをプログラミングで作りたいというのが、ものづくりの初期衝動だったので、隅々まで、プログラミング的な思考を出発点にしたアイデアで作られています。

――今後の都市3Dデータに関してどんな情報があれば使いたいと思いますか？

気軽にスキャンできるようになれば、定点観測してみたいですね。

――今回は地下のデータのビジュアライゼーションのための音楽という特殊なものですが、普段はどのような音楽を手がけておられるのかお教えください

黒瀧：ダンスパフォーマンスやファッションショーに使用される音楽、アートインスタレーションなどの空間の為の音楽などを作っています。

Watanabe：エレクトリック・ミュージックを軸として主にはダンスミュージックを手掛けていますが、映像や舞台などの音も制作してきておりますので、楽曲の指向性は多岐に渡ります。

――黒瀧さんは、これまでにもデータビジュアライゼーションのための音楽を制作されていますよね。

黒瀧："SHIBUYA CAST" façade Installation "Axyz"や、Dolby x Daito Manabe “Flow”、 Daito Manabe + Setsuya Kurotaki ”Celestial Frequencies”など、ライゾマティクスの作品のための音楽を作っています。

――今回、普段作っている音楽とは違う点に気をつける必要があった、という特異なポイントがありましたらお教えください。

黒瀧：特異な点は無いです。コンセプトや映像の質感を拡張できるように努めました。

Watanabe：データビジュアライゼーションの緻密で繊細な表現を妨げずに地下に張り巡らされた広大な建造物に見合う音像と音色の組み合わせに気を配りました。

――制作のために、どのような情報を集めたのでしょうか？

黒瀧：誰もいない渋谷駅構内の空間や吹き込む風の音を採取し素材として使用しています。

――本作品のコンセプトは何ですか？

黒瀧：「これまでに誰も見たことがない渋谷の姿を可視化する」といったヴィジュアルコンセプトに寄り添い、視覚的な印象を助長した音の在り方を探りました。

――映像と音を合わせる上でどのようなポイントに気をつけられましたか？

黒瀧：視点が駅構内をすり抜けて揺蕩う独特な浮遊感に合わせて音も推移させていますが大げさなインタラクションにならないよう努めました。

――制作で苦労した点はありますか？２人のコラボレーションはどのような分担で行われたのでしょうか？

黒瀧：Watanabeさんに先ずリファレンスとなるラフ音源をお送りし主軸となるアンビエントドローンを作成頂きました。その音源を軸としつつ私は駅構内と同じ数、縦にレイヤーされたトラックを作成しカメラのトランジションに合わせて音の合間を漂うようなサウンドデザインを施しました。

Watanabe：ある程度出来上がった映像には楽曲を合わせられるテンポも組み込まれていましたので何度かやり取りをしながら黒瀧くんからイメージ、方向性の案を頂き楽曲の軸を先ず僕の方でベースを繰り上げて調整していきました。今作品はコラボレーションなのでそのベースの上に更に映像にマッチするよう黒瀧くんには音を引き締めて貰いトータルのバランスを取って貰いました。

黒瀧：初のコラボレーションだったのですが、本プロジェクトで表現したいニュアンスを即座に理解し楽曲に反映するクオリティーとバランス感が素晴らしかったように思います。以前から敬愛しているアーティストとご一緒できて光栄でした。

――データからどのような音楽の世界観を立ち上げていったのでしょうか？そのイメージを作るために、どのようなことをされたのでしょうか？

黒瀧：映像の浮遊感や地下鉄構内の独特な冷たさや未来感を如何に助長できるか試行錯誤しました。また駅構内の空間音や吹き込む風の音を採取し、レイヤーに組み込むなどヴァーチャルとリアルの合間を縫うようなちょうど良いバランスを意識しました。

Watanabe：一見無機質にも捉えられる音ですが、データビジュアライゼーションで浮き出された見事な地下に広がる空間を映像のクオリティーと共に演出するべく音色の選び方とミニマリズムの中にドラマを盛り込みました。観た人に感じて貰えるといいなと思っています。

――視聴者に「ここを聴いて欲しい」というポイントがありましたらお教えください

黒瀧：ヘッドフォンで聴いて頂けたら空間の推移をより感じて頂けると思います。

Watanabe：最終的には人がそもそも見ることは出来ない地下巨大建造物のありのままの姿を音で演出として添える事によってその情景が更に強く記憶として脳裏に焼き付かせることが出来るか？だと思います。先程も述べた通り、ミニマリズムの中にある微かなドラマ性が映像を更に印象として強いものに仕立てられている事だろうと思います。