Advances in Camera Capture & Photo Segmentation

Advances in Camera Capture & Photo Segmentation

Appleが、WWDC19において「Advances in Camera Capture & Photo Segmentation」を行い、その内容を公開しています。

マルチカメラのキャプチャーサポートは、Macの場合OS X Lion 10.7から利用可能でしたが、iOSデバイスの場合、iOS 13をインストールした、iPhone X/XS、iPhone XS Max、iPhone XR、iPad Pro (11-inch)、iPad Pro 12.9-inch (3rd generation)であれば前後のカメラを同時利用可能になるそうです。


AVMultiCamPiP Graph Topology

AVMultiCamPiP Graph Topology

AVMultiCamPiPアプリの場合、前面カメラの映像を全画面表示して、背面からの映像をPiP表示することが出来ます。

そのPiP表示状態を1つの動画として保存することも可能になるそうです。


Supported Device Combinations (iPhone XS)

Supported Device Combinations (iPhone XS)

このマルチカメラ機能は、iPhone XSの場合、背面に望遠と広角の2つのカメラ、前面に通常カメラとTrueDepthカメラがあり、前面側のカメラを同時利用する組み合わせはサポートされていないそうです。

組み合わせるカメラとFPS値により解像度も変わり、最大で1920 x 1440/60pとなるそうです。


AVDualCam

AVDualCam

iPhone XSで背面カメラを2つ使用したマルチカメラの場合、一般的には1つの画面に2つの映像を同時表示するVR風表示ですが、2つの映像を合致点を見つけ出し、その距離をマッチングさせた映像にしたりマニュアル操作でわざとずらしたりもできるそうです。


Microphone Beam Forming

Microphone Beam Forming

マルチカムキャプチャー時はビームフォーミングマイク方式となり、前面マイクと背面マイクの両方を使用し、背面カメラの映像がメインの場合、背面マイクの音量を2倍にすることで特定の方向に音を集中させたサウンド入力になるそうです。


Semantic Segmentation Mattes

Semantic Segmentation Mattes

ポートレイト撮影時の深度情報は、iOS 12のPortraitEffectsMatteから、Semantic Segmentation Mattesに変わるそうです。

従来の深度情報に加え、髪、肌、歯のマット情報を追加した情報で、背景の入れ替え、肌部分のみの編集などが行えます。

これらの情報はHEIFファイルにセグメント情報として追加されるため、対応するアプリであれば同様の部分編集が可能になるそうです。


PR

Category

Calendar

  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31      

PR

Profile

danbo

MACお宝鑑定団

会長

danbo

日本語でのMac,iPhone,iPad,iPod,TwitterなどApple関連の情報サイト。MACお宝鑑定団のBlog。Macに捉われず、様々な情報を掲載しています。

問い合わせ先
広告出稿について
カンパ・チップ のお願い
プライバシーポリシー

Link

RSSを取得する