Appleが、WWDC26におけるセッション「進化したRealityKitの機能」を公開しています。

RealityKitの切り替えアルゴリズムの 1つ目はカメラまでの距離に基づきます。 エンティティがカメラから遠ざかるほどより高いLODを選択できます。

2つ目はエンティティが占める 画面領域に基づきます。 エンティティが画面上で占める領域が少ないほどより高いLODを選択できます。

RealityKitの3D Gaussian Splatのレンダリングは、ハイパフォーマンスで高品質なボリュームデータのレンダリング技術で、現実世界からキャプチャしたデータです。

この技術では3Dシーンが3D Gaussianの集合として表現されます。

これらを異なる透明度を持つ楕円体と考えることができ、このようなシーンをレンダリングするには各ピクセルでレイをすべてのGaussianに対して評価します。

この処理には多くの最適化が可能で、RealityKitのAPIを使えば自動的に処理されます。

RealityKit APIはGaussian Splatの特定のファイル形式を想定せず、代わりにキャプチャ内のSplatのプロパティを記述するバッファを提供する必要があります。

具体的には位置、スケール、回転、透明度、そして球面調和関数で、球面調和関数により楕円体のカラーを制御できます。

視線方向に応じて球面調和関数の次数も指定する必要があります。 これは楕円体周囲を 移動するときのカラーバリエーションの数を表します。

例えば次数0はすべての視線方向で単一カラーを意味し、これらすべてのバッファを BufferResourceに統合ててGaussianSplatResourceを作成します。