技術&サービスブログ

XRスタジオの仕組み

2021.04.28 テーマ: スタジオ

XRスタジオと言っていますが、その実体はインカメラVR、AR、実写合成の組合せです。

ヘッドマウントディスプレイ(HMD)を装着すると、自分の視界いっぱいに3DCGが広がり、頭を動かすとその位置に応じて360度空間を見回せる、というのが世間一般にいわれるVRだと思いますが、

インカメラVRというのは、その自分の頭や目が、ビデオカメラに置き換わったようなものです。ビデオカメラが撮影したものは2Dのディスプレイに表示されるので、厳密には空間体験とは別のものといえます。

こちらの写真をご覧ください。

緑の床がスタジオ、鞄を持った女性が演者とします。
そして女性の背後には家、手前には猫を3DCGで配置して、リアルタイム合成したいとします。

つまり完成映像はこのような感じです。

実際にはカメラを動かすと手前の猫や背後の家のCGも連動して動きます。
これは前回お話しした、バーチャル空間のカメラが、カメラトラッカーを使用することで、スタジオの実物のカメラとマッチングしているからです。

そして結論から先に申し上げると、手前の猫がAR、背景の家がインカメラVRに相当します。

実写の後ろにCGが回り込む場合には、マスクを作る必要があるため、クロマキーなどが使われます。

そしてクロマキーはビデオ信号に対して行われるため、被写体を基準とした前後関係が生じてしまうことに注目してください。

つまり、カメラの情報をもとにCGをリアルタイムレンダリングしているところまでは3D空間の出来事なのですが、 それ以降のプロセスは完全に2Dの3レイヤー合成なのです。

したがって、例えば被写体の前面にいる猫を被写体の後ろに移動したい場合、XRシステムのオペレーターが、猫を描画するレイヤーをVR側に変更しない限りは前後関係が破綻してしまうことになります。