プロジェクションマッピングとゲームコンテンツのコラボレーション！

去る11月2日、アークベルは「大田臨海部まちづくり協議会プロジェクト」主催の「おおたの水辺観光フェス」において、プロジェクションマッピングを行いました。

また、その幕間コンテンツとしてTouchDesignerとMicrosoft Kinectによるオリジナルゲームを制作しました。まずは当日の様子をご覧ください。

複数の大型プロジェクターを組み合わせて描き出す巨大スクリーンは、パブリックビューを想定したプロジェクションマッピングのために使用されるほか、インタラクティブコンテンツの舞台としても大きなインパクト（迫力と没入感）を与えることができます。また多くのギャラリーを巻き込んだ盛り上がりも期待できます。

これまで当社におけるTouchDesignerの使用は、映像の送出や中継システムを構築する手段のひとつでしたが、今回は上記の発案を実行する絶好の機会となり、Kinect V2センサーをコントローラーに使ってアクションゲームを作ることになりました。

ここは「技術＆サービスブログ」ということなので、ゲームの構造を簡単に紹介してみます。

–

その１：入力

前述のとおり、Microsoft Kinect V2センサーを使用しました。
プレイヤーを3人まで登録し、それぞれの頭部、両手、臀部の位置を3次元座標で取得しています。各値は小刻みに（ときに大きく）暴れるため、複数のポイントを参照してスタビライズも行っています。

補正後の入力パラメータを使い、ボールの射出をトリガーしたり（両手を頭部より上に挙げる）発射位置と射角の調整（左右移動および腰の相対位置）などの情報をゲームシステムに送ります。

その２：ゲームシステム

ゲーム空間では、Bullet Dynamicsにより常に物理演算が行われており、標的の数字パネルは全て、金属フレームの上に白木のドミノ板のごとく、実際に並べてバランスしています。

もちろん適切な摩擦が働いているので滑り落ちませんが、調整中などは不用意な力が加わったりするとあっけなく崩落します。

そんな前提であるため、さまざまなトリガー（SEを鳴らすなど）に使用する衝突判定や、何色のボールが何番のパネルを撃ち落としたかなどの情報は、飛び交う各色のボールたちと数字パネル群との空間距離を計算して処理しています。

その３：グラフィックス

ボールがヒットする強さや角度で、標的の数字パネルが多彩な表情を見せるのは、全面的に物理エンジンを採用した理由のひとつです。

運河のむこうに映し出された大画面に対して、自分の撃ったボールで、パターン化されていない自然な動きを引き起こせるという体験を与えることで、プレイヤーにすんなりと状況の面白さを感じてもらうことができます。

また、プロジェクションマッピングに使用したシステムをそのまま引き継いで利用できたので、ギャラリーに対しても、パブリックビューイング的にゲームの進行状況を楽しんでもらうため、バーチャルカメラを多数設置しています。

射出されたボールを後ろから追い掛けるカメラや、仮想のレールを走りながらボールを仰ぐカメラなどは、躍動感のある画を撮ってくれるため、ゲームの盛り上がりに貢献しています。

これらのカメラは、ゲーム中のボール位置などを参照していて、カメラワークは自動で切り替わっています。

その４：出力

使用したスクリーンは3画面です。
プロジェクションマッピングの送出はResolume Arenaを使用しているので、TouchDesignerからの出力はNDI経由で送っています。

このプロジェクションマッピング用の横長スクリーンを2画面分割で使い、またHDMI接続でステージ上のプレイヤー前に設置したモニターには、同様の2画面に加えてプレイヤー専用の十字照準をオーバー表示した画面が用意してあります。

コンプリート時にプレイヤーの姿を称えられるように、手動切替でKinectのRGBカメラも接続してあります。

–

プロジェクションマッピングと、パブリックビューで行うゲームコンテンツのコラボレーション。いかがだったでしょうか？

今後とも体験型コンテンツを拡充してまいりたいと思っているので、よろしくお願いします！