Tooが、Blackmagic DesignのApple Immersive Video用カメラシステム「Blackmagic URSA Cine Immersive」を用いた Immersive Video の最新情報について紹介するイベントを開催しました。

イベントでは、Blackmagic DesignのDaVinci ResolveプロダクトマネージャーPeter Chamberlain氏による「Immersive Video制作の最前線 〜URSA Cine Immersive と DaVinci Resolve のワークフロー〜」が行われました。

ビデオは平面的であった「ビデオ (Traditional Video)」が一般的でしたが、近年では iPhone などで撮影できるようになった立体感を持たせた「空間ビデオ (Spatial Video)」へと進化して来ました。その先に有るのが Apple Vision Pro と共に登場した、視聴者が映像の世界の中に没入する「イマーシブ ビデオ (Immersive Video)」。

この Immersive Video の撮影から編集までのソリューションを、Apple と共に開発しているのが Blackmagic Designとなります。

まずは、撮影機材から。

Blackmagic Designが開発した Immersive Video 撮影専用カムが「URSA Cine Immersive」。

このカムコーダは1つの筐体に、8,160 x 7,200ピクセル 90P の180度映像を撮れるレンズと受光素子のセットが 2つ搭載されています。

現在は第1製造ロットが順次 Apple へ納品されており、この機材で Apple Vison Pro で視聴できる Apple Immersive Video の作品が撮影されています。

数ヶ月後に製造される第2ロット以降が一般へ出荷される予定となっており、この出荷先には 日本 も含まれています。

2つの映像ユニットは工場出荷時にキャリブレーションされ、その結果は本体に書き込まれるので、撮影時のステレオアライメント調整は不要。

撮影をすると カムコーダに挿入した Blackmagic Media Module へ BRAW Immersive 形式にて保存されます。Blackmagic Media Module は最初は 8TB モデルだけでスタートしますが、時期は未定ですが 16TB モデルの投入も予定しています。

これまで Blackmagic Designではカムコーダの受光素子に入ったデータを全て記録するためのファイル形式として「BRAW (ビーロウ)(Blackmagic RAW)」を用意していましたが、Immersive 撮影のために拡張されたのが「BRAW Immersive」形式。

BRAW Immersive は2眼の受光素子で撮影された全てのデータと、カメラが撮影時に記録した メタデータ を纏めて1つのファイルとして扱えるようにしたフォーマットとなります。

BRAW Immersive 形式は圧縮の強さによって 5:1、8:1、12:1、18:1 から選択できますが、十分な光量が確保できる撮影現場であれば 12:1 がお勧め。Apple が公開している作品もホボ 12:1 圧縮で撮影されているという事でした。12:1 を選択した場合、8TB Media Module で2時間収録できます。

光量が足りない場合には 5:1、8:1 の選択も検討すべきですが、ほぼ必要なし。18:1 は殆ど使われないと予想されているそうです。

今回は DaVinci Resolve 開発チームの検証用 URSA Cine Immersive を持ち込んで、渋谷などで撮影を行ったそうですが、1日撮影してデータ量は 4TB ぐらい。

10Gb Ethernet で MacBook Proに接続し、この撮影データを吸い上げたそうです。

試しに Thunderbolt 接続で市販の SSD にデータを移動させてみたところ4TBの撮影データファイル転送に 3時間かかったそうで「出来るけど、現実的では無い」という感想だったそうです。

カメラのスペックとしては、フォーカス(ピント)はパンフォーカス、アイリス(絞り)は固定、感度は ISO800。変更できるのはシャッタースピードぐらいとなります。

レンズは 180度以上写せるのでスペック上は 180+ という表記になっていますが、スペックとして保証しているのは 180度 までとなっています。

カメラのディスプレイでは円周の形で撮影画像がモニタでき、LレンズとRレンズの絵を切り替えてモニタ可能。一般的には L(左側)レンズの絵で撮影します。

円周の絵の真ん中に 90度分の撮影範囲については「キューブガイドライン」をオーバーレイで表示可能。この範囲が Apple Vision Pro で見た時のアクティブエリアになるので、映像のメインは この範囲に入れるのが良いとされます。

撮影において大切なのは、撮影時の水平の維持。水平がズレると視聴者に強い不快感を与えます。一方方向へゆっくりと振ることを徹底しないと視聴に耐えない映像となります。

激しいパンは厳禁。視聴者に不快感を与えるだけでなく、URSA Cine Immersive に内蔵しているジャイロが常時動きを検知しており、撮影時のカメラの動きは BRAW Immersive の メタデータ に全て保存。一定以上の値が記録されている場合は、DaVinci Resolve で BRAW Immersive を読み込んだ際に警告が表示される予定となっています。

警告を無視して Apple Vision Pro で再生しようとすると、Apple Vision Pro が撮影データの再生を拒否します。

水平の次に大切なのは、俳優、音声、照明、機材の配置。

180度撮影できるのでカメラの横に立つだけで映像に映り込みます。もちろん、カメラを置く三脚の脚も含めてです。

ブームマイクは映り込ませてしまう代表格なので、とにかく注意して欲しいということでした。

この URSA Cine Immersive で撮影された BRAW Immersive ファイルを編集するのは DaVinci Resolve。

Immersive データを扱える DaVinci Resolve の一般公開版 v20 からとなりますが、DaVinci Resolve v20の開発より以前から Immersive 対応の開発を行なっていたためにデモは DaVinci Resolve v19 をベースとした開発専用バージョンで行われました。

URSA Cine Immersive と DaVinci Resolve 20 で目指したのは「ワークフローのシンプル化」
これまで空間ビデオを編集する際には、L眼映像とR眼映像の2本の映像を読み込んで、タイムコードを一致させて、視差を調整して…と長い準備作業が必要でしたが、URSA Cine Immersive と DaVinci Resolve 20の組み合わせでは「撮影」「BRAW Immersive ファイルを読み込み」「編集」「書き出し」だけで映像編集ワークフローが完結します。

このように イマーシブ映像でもこれまでの映像データを同じ操作方法で編集できますが、マシンスペックは非常に高いスペックを要求されます。

Blackmagic Designの推奨としては「Mac Studio (2025)/M3 Ultra 32コアCPU 80コアGPU メモリ256GB以上」となります。

M2マシンなどのスペックが劣るマシンで編集する場合には、映像解像度を半分となる4,080 x 3,600pixelとすることで編集しやすくなるそうです。

この設定については「どの環境でもオススメ」ということで、編集の快適さが段違いとなるようです。

Immersive 編集のためにDaVinci Resolve に搭載された新機能は複数ありますが、実装において一番大変だったのは Apple VisionPro Live View。次いで Backdrop track のサポートだったそうです。

BRAW Immersive ファイルを読み込んだ際に、適応すると良いのは「Edge Mask (エッジマスク)」。これは URSA Cine Immersive のレンズが 180度+ であるために隣のレンズまで写り込んでしまいます。この写り込みを低減させるために、映像円周部のエッジをボヤけさせることができ、これが Edge Mask 機能になります。マスクの範囲、効果量については調整が可能です。

URSA Cine Immersive で撮影できるのは半周分だけなので、撮れない半周分をマスクするのが「Backdrop track」。DaVinci ResolveでImmersiveビデオ用のテンプレートを選択すると、この Backdrop trackが自動で付きますが、トラックの削除をすることも可能です。

Backdrop trackにはUSDファイルなので、独自のUSDファイルを読み込ませることで表示内容のカスタマイズが可能です。Backdrop trackはメイントラックのクリップに依存しており、クリップの途中で切り替えることは出来ません。クリップが変わるタイミングでBackdrop trackを変更できます。

USDファイルは将来テロップにも利用される予定となっており、将来的には Immersive Movie ファイルと USDファイルを Apple Vision Pro に入れ込むことでテロップを高品質、立体的に表示できる見込みです。

編集後の処理で大切になるのは、Apple Vison Pro に向けての明るさ、ダイナミックレンジ、カラーの調整。

URSA Cine Immersive で撮影した時点では 1,000nits ですが、一般的なマスモニでは 250nits。

そして、Apple Vison Pro では 108nits が基準値となります。

マスモニの 250nits と Apple Vison Pro の 108nits は視覚的には同一と言って良いレベル。このために通常は 250nits 基準でマスモニを使って編集をし、最後に 108nits に変更して Apple Vison Pro の実機でLivePreviewするのが推奨のワークフローとなります。

これは「Apple Vision Pro を長時間装着し、これだけで編集するのは現実的では無い」という事で生み出されたフローであり、ノードエディタで250nitsから180nitsへ変更するノードを入れておき、このノードのOn/Offで切り替えるのが良いという事でした。

このようにImmersive Videoの完結したワークフローを作るがが URSA Cine Immersive と DaVinci Resolve 20。

今後の新しい映像表現を体験し、いち早く制作に入るためにも、バックオーダーが溜まる前に購入することがオススメという事でした。