Appleが、WWDC26におけるセッション「Core ImageによるRAW画像処理の強化」を公開しています。

2006年に登場したRAW画像エンジンは、当初21機種のデジタルカメラRAWデータしかサポートしていませんでしたが、現在は、iPhoneのApple ProRAWデータを含む718機種のRAWデータをサポートしています。

2017年にリリースされたiOS 11およびmacOS High Sierraに搭載された「RAW 8」から9年が経ち、今回、RAWファイルのレンダリングを劇的に改善し、タイル型CoreMLモデルを基盤として構築され、最高品質のためにデモザイクとデノイズを組み合わせた「RAW 9」として進化します。

このモデルはApple Neural Engineのコアを使い、デバイス上で実行され、最適なパフォーマンスを実現します。

Sony Alpha 7 IIで撮影したRAWデータをRAW 8で現像した場合のビンテージ時計のイメージは実はかなり良い仕上がりです。

Sony Alpha 7 IIで撮影したRAWデータをRAW 9で現像した場合、イメージはよりシャープで鮮明になり細かいテキストも読みやすくなります。

Canon 5D Mark IIIで撮影したISO 51,200で撮影したクレヨンの箱を10倍クロップしたRAWデータを見た場合、RAWデータには輝度ノイズと色ノイズが非常に多く各クレヨンの固有の色を識別することができません。

従来のアルゴリズムを使用するとこの結果になります。

RAW 8で現像した場合、シーンの実際の色をある程度回復しますが、それでもノイズが目立つ画像となります。

RAW 9で現像した場合の結果を確認すると出力結果は格段に優れています。

色が正確ではっきりしていて、クレヨンの光沢ある鏡面ハイライトも見えています。

Fujifilm X-T5で、ISO 12,800で撮影した刺繍糸のRAWデータをRAW 8で現像した場合、糸に色のアーチファクトと ディテールの損失があります。

このFujifilm X-T5は、X-Trans CMOSの特徴である独自のカラーフィルター配列を採用した非従来型のセンサーパターンを持ち、デジタルカメラのイメージセンサーで捉えたモザイク状の光・色情報から、フルカラーの画像を生成する補間処理「デモザイク」が困難です。

同じRAWデータをRAW 9で現像して見ると結果は明らかに優れています。

小さなテキストが読みやすくなり糸のテクスチャもより鮮明です。

RAW 9はデフォルトでは有効になっていないためsupportedDecoderVersionsプロパティに version9列挙型が含まれているか確認する必要があります。

含まれている場合は decoderVersionプロパティを version9に設定してオプトインできます。