トラッキング

現在の映像制作では、実写映像にCGや文字、画像などを合成するときに使われることが多く、対象の位置・向き・大きさの変化をフレームごとに解析し、その動きに別の要素を追従させます。

たとえば、走っている自動車のナンバープレートにぼかしを追従させる、人物の顔にグラフィックを重ねる、動いている看板の面に別の映像を合成するといった処理がトラッキングです。

対象によって、モーショントラッキング、オブジェクトトラッキング、カメラトラッキングなどに分けて呼ばれます。

また、「トラック」「トラッキング」という言葉が、カメラ自体を移動させながら被写体を撮影する意味で使われることもあります。この場合は、画像解析の技術ではなく、撮影方法を指しています。

映像制作で使われる主なトラッキング

1. モーショントラッキング

映像内の特定の点や領域の動きを追跡する方法です。

被写体の位置を追い続け、その座標情報を文字、画像、CG、マスクなどに反映させます。

映画やCM、企業映像などのVFX制作で広く使われています。

代表的な用途には、

• 人物の顔にモザイクやぼかしを追従させる

• 動く被写体の横にテロップを表示する

• 商品や建物の特定部分にグラフィックを追従させる

• 実写映像にCGを合成する

などがあります。

2. オブジェクトトラッキング

人物、自動車、ボールなど、映像内の特定の物体そのものを認識し、その動きを追跡する技術です。

単一の特徴点を追う方法よりも、対象物全体の形状や特徴を利用して追跡します。

映像制作のほか、スポーツ解析、防犯カメラ、自動運転、画像認識など幅広い分野で使われています。

近年はAIによる物体認識と組み合わせることで、人物や車両などを自動的に識別して追跡する技術も一般化しています。

3. カメラトラッキング

カメラトラッキングとは、撮影された映像から、撮影時のカメラの位置や向き、移動を解析する技術です。

カメラがパン、チルト、移動、回転などをしている映像から、その動きを三次元的に推定します。

解析したカメラの動きを3DCGソフト側の仮想カメラに反映させることで、実写とCGの動きを一致させることができます。

たとえば、手持ちカメラで撮影した街並みにCGの建物を追加する場合、実写カメラの揺れや移動にCGも正確に追従させなければ、合成映像として成立しません。そのためにカメラトラッキングが使われます。

「3Dカメラトラッキング」「マッチムーブ」と呼ばれることもあります。

4. 平面トラッキング

壁、看板、スマートフォンの画面、机の天板など、平面的な領域を追跡する方法です。

対象となる面の移動だけでなく、回転、拡大縮小、遠近による形状変化なども解析できます。

動いている看板の広告を差し替えたり、スマートフォンの画面に別の映像を合成したりする場合によく使われます。

トラッキングで取得する情報

トラッキングでは、対象によって次のような変化を解析します。

• 水平方向・垂直方向の位置

• 移動量

• 回転

• 拡大・縮小

• 遠近による変形

• カメラの位置

• カメラの向き

• 三次元空間上の動き

必要な情報によって、使用するトラッキング方法も変わります。

トラッキングしやすい映像

トラッキングの精度は元映像の状態に大きく左右されます。

輪郭や模様がはっきりしている場所は追跡しやすく、コントラストの低い壁や空、反射面、水面などは追跡しにくい傾向があります。

また、

• 強いモーションブラー

• 急激なカメラ移動

• 被写体が他の物体に隠れる

• ピントが大きく外れる

• 被写体の形が大きく変化する

• 激しい照明変化

などがあると追跡が外れることがあります。

VFXを前提とした撮影では、後工程でトラッキングしやすいよう、マーカーを設置することもあります。