XRスタジオの仕組み
XRスタジオと言っていますが、その実体はインカメラVR、AR、実写合成の組合せです。
ヘッドマウントディスプレイ（HMD）を装着すると、自分の視界いっぱいに3DCGが広がり、頭を動かすとその位置に応じて360度空間を見回せる、というのが世間一般にいわれるVRだと思いますが、
インカメラVRというのは、その自分の頭や目が、ビデオカメラに置き換わったようなものです。ビデオカメラが撮影したものは2Dのディスプレイに表示されるので、厳密には空間体験とは別のものといえます。
こちらの写真をご覧ください。
緑の床がスタジオ、鞄を持った女性が演者とします。
そして女性の背後には家、手前には猫を3DCGで配置して、リアルタイム合成したいとします。
つまり完成映像はこのような感じです。
実際にはカメラを動かすと手前の猫や背後の家のCGも連動して動きます。
これは前回お話しした、バーチャル空間のカメラが、カメラトラッカーを使用することで、スタジオの実物のカメラとマッチングしているからです。
そして結論から先に申し上げると、手前の猫がAR、背景の家がインカメラVRに相当します。
実写の後ろにCGが回り込む場合には、マスクを作る必要があるため、クロマキーなどが使われます。
そしてクロマキーはビデオ信号に対して行われるため、被写体を基準とした前後関係が生じてしまうことに注目してください。
つまり、カメラの情報をもとにCGをリアルタイムレンダリングしているところまでは3D空間の出来事なのですが、 それ以降のプロセスは完全に2Dの3レイヤー合成なのです。
したがって、例えば被写体の前面にいる猫を被写体の後ろに移動したい場合、XRシステムのオペレーターが、猫を描画するレイヤーをVR側に変更しない限りは前後関係が破綻してしまうことになります。
光学式カメラトラッキング
平和島XRスタジオは、光学式のカメラトラッカーを採用しています。
カメラトラッカーとは、カメラを追跡（トラック）する機材のことで、スタジオカメラの空間位置を捉えるために必要になります。
空間位置を捉えられると何が良いかというと、カメラの動きをデータとしてバーチャルの世界に持ち込めます。
3DCGで作られたバーチャル空間の仮想カメラが撮る画と、スタジオ内の実物カメラが撮る画を可能な限り近づけるのが目標になります。
これがセンサーの筒を上部から見た写真です。
筒の周囲には赤外線を出すLEDが付いており、筒の中心は広角の赤外線カメラになります。
スタジオの天井には反射マーカーが貼られているので、自分の出した光を自分で撮影してカメラの空間位置を推定できます。
厳密に言うと、カメラトラッカーは自身の位置をトラッキングした結果を返すため、そこから基準値を移動・回転させて実際のカメラのセンサー位置に重なるように調整をします。
平和島ＸＲスタジオとアークベルＸＲ課について
ご無沙汰しております。
まる１年間の運用を経て、自社スタジオがリニューアルしました。
俟たれていた３面Ｒ造成工事を行い、スタジオを斜め使いできるようになったことは大きいです。照明も再調整して、よりフラットなホリゾント空間になっています。
スタジオのグリーンバック化とともに運用が始まったZeroDensity社のRealityシステムですが、こちらも１年という時間が経つことで、ようやっと自分たちの道具として基本的な運用ができるようになってきました。
Realityは、3DCGの表示にUnrealEngineというゲーム制作用のプラットフォームを使うのですが、これについては本当に、得たいものの姿をかなり具体的に決め込まないと、どこまで学んでも終わりがなく、みるみる時間が溶けていきます。
さらに、そのプラットフォーム上で使う3DCGモデル自体はUnrealEngineで作るわけではありませんから、イベントで使用する企業ロゴ等については都合、3DCGツールでモデリング他を内製する必要があり、綿密なスケジュール管理が求められます。
ゆえにクライアント自身について、そのような土台の上でイベントを実施しているという、ある程度の理解協力もそうですが、全体を俯瞰できる、3DCG界隈に知見のあるアートディレクターの重要性もまた、しみじみ感じているところです。
表題のとおり、スタジオについては正式に「平和島ＸＲスタジオ」を名乗ることに致しました。
Ｒ造成が終わり、Realityの強力なキーヤーと組み合わせて使用することが必須ではなくなりました。ライブ配信用に専用線ネットワークも配備し、施設のみのレンタル（箱貸し）でも十分な価値がご提供できると考えました。
独立したウェブサイトもございます。
コロナ禍にあってイベント市場は縮小し、当社でも撮影レンタルやイベントレンタルといった区分こそ残っていますが、その実、中のスタッフは流動的になっており、その変化の中心としてバーチャルライブ配信があったと思います。
これまで直接関与することのなかった3DCGや3Dセンシングについても、昨年、試行錯誤しながらもRealityを動かしていたスタッフが中心となって知見を蓄え、XR技術開発課（XR課）が発足するに至りました。こちらのブログも当課が更新していきたいと思っております。
今期もアークベルをよろしくお願いいたします。
