技術&サービスブログ

当社スタジオで『Notch Lab』イベントが実施されました

2019.04.01 テーマ: スタジオ

去る3月17日(日) 当社スタジオを会場に「Notch Lab」イベントが行われました。
Peatix: Notch Lab [https://notchlab.peatix.com/?lang=ja]

今回はイベントの概要と使用された機材についてレポートします。

主催は「Tokyo Developer’s Study Weekend(TDSW)」さん。
「Touch Designer Study Weekend」という名前で、ノードベースのビジュアルプログラミングツールとして有名な「Touch Designer」ソフトウェアのワークショップを企画・運営されている方々です。
最近では、今回の主題となる「Notch」というツールを始め、Touch Designer と一緒に使われることが多いその他のソフトウェアやシステムまで守備範囲を広げており改名されたそうです。

講師は「津久井勝也」さん。
VFX・ポスプロの会社に勤務されている方ですが、多方面に情報の感度が高く、前述のTouch DesignerやNotchなど、ジェネレーティブコンテンツに使用されるツールについても精通しています。

Notch とは、主にリアルタイム表現に最適化された、3Dモーショングラフィックスを駆使したコンテンツの開発・再生システムです。

Notch [https://www.notch.one/]

ビジュアルの開発は「Notch Builder」というノードベースのプログラミングツールで行い、現場での運用は「Disguise」や「Hippotizer」といったパワフルなメディアサーバー上で「Notch Playback」という再生用プラグラムを使用します。

とは言いますが、NotchはGPUに対して非常に能率が良いソフトウェアなので、Notch Builderと市販のゲーミングPCとの組み合わせであっても、独立した作品ができてしまうのが魅力です。

また上記のようなメディアサーバーが使用できない場合でも、Touch DesignerがインストールされたPCがあれば Notch Playbackの代用が可能になるアップデートが近く予定されているようです。

さて今回「Notch Lab」と銘打って行おうとしているのは、Notchとそれ以外の高価な機材たちを連携させた、高度なARステージ演出になります。

目標はシンプルに、この動画のパフォーマンスを再現すること。
Live Stage Augmented Reality [https://vimeo.com/201299823]

今回その実現のために、株式会社ナックイメージテクノロジー様とアークベンチャーズ株式会社様にご協力いただきました。スタジオに持ち込まれた機材は――

ARRI ALEXA Plus + Ncam



ALEXAカメラの下にリグ組みされた2台一組の広角カメラがあります。これが「Ncam」システムのカメラです。このレンズが捉えた広範囲の視差映像から3D空間上の特徴点がNcamサーバーで自動的にマッピングされます。マップは Motion Builderに入力されています。ARRI Alura 15.5-45 シネズームレンズのギアにもNcamシステム用のエンコーダーが接続されており、レンズとのキャリブレーションを行っておくことで、撮影中の画角だけでなくDOF情報に至るまで3DCG内のキャラクターと確実にマッチングできます。

Black Trax


複数のセンサーカメラ(今回はスタジオ前面2、背面3の計5つ)で空間を設定し、その範囲内で動くビーコンの情報を3D空間上の点として変換できます。専用のビーコンは2股に分かれており、空間座標だけでなく軸回転まで取得できます。

Disguise gx2

メディアサーバーです。今回は事前に用意したビデオのプロジェクションマッピングではなく、プリインストールされた「Notch Pro」でジェネレーティブコンテンツを描画していきます。そのため強力なGPUを搭載した「gx2」サーバーが持ち込まれました。今回使用しませんでしたが、Disguiseは専用ソフトウェアも優れており、複雑なプロジェクションマッピングのシミュレーションを簡単に行うことができます。

ざっくり仕組み
Notchで作成したジェネレーティブコンテンツの任意のパラメータを、Black Traxで取得した空間座標に紐づけます。これにより、ダンサーの手中のBlack TraxのビーコンにNotchで生成されたパーティクルが追従します。

また、シンプルな板の3つ角にビーコンを固定することで、板の動きを3Dトラッキングできるので、自在に動く板の中にプロジェクションマッピングを行うことができます。
さらに、通常プロジェクションマッピングの想定ビューポイントは動きませんが、カメラをビューポイントに設定しつつ、Ncamシステムが取得したレンズの情報と連動させることで、カメラが自由に動いても常に3Dマッピングの最適なビューポイントが維持されます。(スタジオ上のARを実現)

準備段階で重大な問題が発覚
メーカーによると、参考動画で使用されていたNotchはテストのためにビルドされた特別なバージョンらしく、ひどく不安定なため現在ベータ版としても実装はされていないとのこと。
そのため、Ncamシステムとの連携は、11月のリリース予定を待つことに……

ワークショップ

Notchの簡単なレクチャー、各機材のプレゼンテーションとデモが行われた後は、数人ずつのグループに分かれて、Notchで簡単なコンテンツを作成しました。幾つかの作品をDisguise サーバーに転送。2万ルーメンの大型プロジェクターでスタジオ壁面に出力されたジェネレーティブコンテンツをBlack Traxビーコンで操るという遊びが行われました!



当日のトラブルも
システムのキャリブレーション時には予想しなかったトラブルとして、Black Traxセンサーをスタジオ常設のトラスに設置したため、同じくトラスに吊られた大型プロジェクターの微振動の影響を受けてしまい、本来のトラッキング精度が発揮できませんでした。
激しくビーコンを動かしたときなど、トラッキングが外れたときの座標の暴れがパーティクルのド派手な演出に繋がったり、正直笑いましたが、機材検証としてはちょっと残念だったり。

次回は11月のアップデート後を予定
今回はNcamシステムとの連携が行えなかったため、目標としていたパフォーマンスの再現には至りませんでしたが、条件が揃ったタイミングで再び挑戦したいという意識のもとで解散となりました。