当社スタジオで『Notch Lab』イベントが実施されました
去る3月17日（日） 当社スタジオを会場に「Notch Lab」イベントが行われました。
Peatix: Notch Lab [https://notchlab.peatix.com/?lang=ja]
今回はイベントの概要と使用された機材についてレポートします。
主催は「Tokyo Developer’ｓ Study Weekend（TDSW）」さん。
「TouchDesigner Study Weekend」という名前で、ノードベースのビジュアルプログラミングツールとして有名な「TouchDesigner」ソフトウェアのワークショップを企画・運営されている方々です。
最近では、今回の主題となる「Notch」というツールを始め、TouchDesigner と一緒に使われることが多いその他ソフトウェアやシステムまで守備範囲を広げており、改名されたそうです。
講師は「津久井勝也」さん。
VFX・ポストプロの会社に勤務されている方ですが、撮影・映像技術では多方面に情報の感度が高く、前述のTouchDesignerやNotchなど、ジェネラティブ系コンテンツに使用されるツールについても精通しています。
「Notch」とは、主にライブ・イベント向けに開発されている、リアルタイム3Dモーショングラフィックスの開発・プレイバックシステムです。
Notch [https://www.notch.one/]
ビジュアルの開発は「Notch Builder」というノードベースのプログラミングツールで行い、現場でのプレイバックは「Disguise」や「Hippotizer」といったパワフルなメディアサーバー上で「Notch Playback」という再生用プラグラムを使用して行います。
とは言いますが、NotchはGPUに対して非常に能率が良いソフトウェアなので、Notch Builderと市販のゲーミングPCとの組み合わせであっても、他のツールではスペック上実現が難しかったリッチなジェネラティブ作品ができてしまうのが魅力です。
また、上記のようなメディアサーバーは大変高価なため、相応の予算のあるイベント向けに利用されるソフトウェアだったのですが、近く予定されているTouchDesignerのアップデートにより、TouchDesignerのプロライセンスがあれば、インストールされたPCをメディアサーバーとして代用できるようです。（その場合もNotch Playbackライセンスは必要です）
さて今回「Notch Lab」と銘打って行おうとしているのは、Notchとそれ以外の高価な機材たちを連携させた、高度なARステージ演出になります。
目標はシンプルに、この動画のパフォーマンスを再現すること。
Live Stage Augmented Reality [https://vimeo.com/201299823]
今回その実現のために、株式会社ナックイメージテクノロジー様とアークベンチャーズ株式会社様にご協力いただきました。スタジオに持ち込まれた機材は――
ARRI ALEXA Plus + Ncam
ALEXAカメラの下にリグ組みされた2台一組の広角カメラがあります。これが「Ncam」システムのカメラです。このレンズが捉えた広範囲の視差映像から3D空間上の特徴点がNcamサーバーで自動的にマッピングされます。マップは Motion Builderに入力されています。ARRI Alura 15.5-45 シネズームレンズのギアにもNcamシステム用のエンコーダーが接続されており、レンズとのキャリブレーションを行っておくことで、撮影中の画角だけでなくDOF情報に至るまで3DCG内のキャラクターと確実にマッチングできます。
Black Trax
複数のセンサーカメラ（今回はスタジオ前面2、背面3の計5つ）で空間を設定し、その範囲内で動くビーコンの情報を3D空間上の点として変換できます。専用のビーコンは2股に分かれており、空間座標だけでなく軸回転まで取得できます。
Disguise gx2
メディアサーバーです。今回は事前に用意したビデオのプロジェクションマッピングではなく、プリインストールされた「Notch Playback」でジェネラティブコンテンツを描画していきます。そのため強力なGPUを搭載したラインの最上位機種「gx2」サーバーが持ち込まれました。今回使用しませんでしたが、Disguiseは専用ソフトウェアも優れており、複雑なプロジェクションマッピングや照明システムのシミュレーションを簡単に行うことができます。
ざっくり仕組み
Notchで作成したジェネラティブコンテンツの任意のパラメータを、Black Traxで取得した空間座標に紐づけます。これにより、ダンサーの手中のBlack TraxのビーコンにNotchで生成されたパーティクルが追従します。
また、シンプルな板の3つ角にビーコンを固定することで、板の動きを3Dトラッキングできるので、自在に動く板の中にプロジェクションマッピングを行うことができます。
さらに、通常プロジェクションマッピングの想定ビューポイントは動きませんが、カメラをビューポイントに設定しつつ、Ncamシステムが取得したレンズの情報と連動させることで、カメラが自由に動いても常に3Dマッピングの最適なビューポイントが維持されます。（スタジオ上のARを実現）
準備段階で重大な問題が発覚
メーカーによると、参考動画で使用されていたNotchはテストのためにビルドされた特別なバージョンらしく、ひどく不安定なため現在ベータ版としても実装はされていないとのこと。
そのため、Ncamシステムとの連携は、11月のリリース予定を待つことに……
ワークショップ
Notchの簡単なレクチャー、各機材のプレゼンテーションとデモが行われた後は、数人ずつのグループに分かれて、Notchで簡単なコンテンツを作成しました。幾つかの作品をDisguise サーバーに転送。2万ルーメンの大型プロジェクターでスタジオ壁面に出力されたジェネラティブコンテンツをBlack Traxビーコンで操るという遊びが行われました！
当日のトラブルも
システムのキャリブレーション時には予想しなかったトラブルとして、Black Traxセンサーをスタジオ常設のトラスに設置したため、同じくトラスに吊られた大型プロジェクターの微振動の影響を受けてしまい、本来のトラッキング精度が発揮できませんでした。
激しくビーコンを動かしたときなど、トラッキングが外れたときの座標の暴れがパーティクルのド派手な演出に繋がったり、正直笑いましたが、機材検証としてはちょっと残念だったり。
次回は11月のアップデート後を予定
今回はNcamシステムとの連携が行えなかったため、目標としていたパフォーマンスの再現には至りませんでしたが、条件が揃ったタイミングで再び挑戦したいという意識のもとで解散となりました。
