弊社が所有するRealityやDisguiseを用いたXR撮影では、カメラにトラッキングセンサーを取り付けて撮影を行います。
このトラッキングセンサーは、現実世界のカメラの位置とCG空間内の仮想カメラの動きを合わせるのに必要です。
弊社ではStype社のRedSpyを使用していますが、基本的にXR撮影でカメラに取り付けて使用するようなトラッキングセンサーは、カメラの取り付けを適当に行ってしまうと実写映像とCG空間を重ね合わせた際のずれが発生してしまいます。
カメラの座標の一致がXR撮影の合成精度を上げる重要な要素の一つになり、実写の場合、トラッキングセンサーの所得する座標は、トラッキングセンサーの測定した座標情報がそのまま実写の座標となるため、センサーの取付に関わる物体の歪みなど現実世界においてどうしても発生してしまうような角度や座標のノイズになる成分も、座標情報に合成されてしまいます。
またトラッキングセンサーの位置は、CG内の仮想カメラのピボットポイント(その物体の位置を定義するある1点)にはないため、その分の座標をメジャーなどで測定してオフセット値を追加する必要もあり、この値も人が取り付けた物体に対しての距離を測定して決定するため測定者や測定環境により変動してしまいます。
CGの場合は物理的な配置を考慮せず数値で確定した座標がそのまま基準座標となります。
この2つの座標情報が一致する前提で重ね合わせることで、実写とCGがしかるべき形で合成されますが、実写の部分で言及したノイズ成分を考慮しないとどうしても実写とCGがずれてしまいます。
そのため、トラッキングセンサーの取付は可能な限り一定の理想的な1点を定めて、そこからどれだけ距離・角度の差異をゼロもしくは一定に近づける必要があります。
弊社でもカメラにトラッキングセンサーをカメラに取り付ける際には、電子角度計やレーザー墨出し器等を用いて、ゼロまでできなくとも一定以内の誤差内で取付ができるように工夫しています。
写真の場合は、カメラの水平を定めた上でトラッキングセンサーがチルト方向にどれだけ傾いているかを確認して、可能な限り数値をゼロに近づけています。
これ以外にも、トラッキングセンサーの取り付け位置でゼロもしくは信頼性の高い一定値で固定できる軸を設定したりすることで、ノイズを含む数値を減らして数値を単純にしつつ、不安定な要素を取り除いています。
これらを行う理由は、一般的にトラッキングセンサーの座標の要素はXYZ軸の座標軸とPTRの回転軸の6軸が基本要素に当たるのですが、座標軸に対して回転軸の変化は大抵の場合同時に座標軸の値に変化を与えます。
この値の計算は三角法で行えますが、一般的には暗算や感覚で把握できるようなものではありません。
またXR撮影を高い合成精度で行うためには、可能な限りCGに対するトラッキングセンサーの座標を把握していないと、実写と合成のずれを補正する際に、どの軸をどれだけ補正すればいいかを感覚的に把握していないとならない前提もあることを覚えておいてください。