Appleが、1枚の写真から3Dガウス表現に変換出来る「Sharp」をGitHubで公開しています。

ニューラルネットワークへの単一のフィードフォワードパスにより、標準GPU上で1秒未満で実行されると説明しています。

SHARPが生成する3Dガウス表現はリアルタイムでレンダリング可能であり、近接視点の高解像度フォトリアリスティック画像を生成します。

この表現は絶対的なスケールを持つメトリック表現であり、メトリックなカメラ移動をサポートします。

実験結果から、SHARPがデータセット間で頑健なゼロショット汎化を実現することが実証されたと説明しています。

複数のデータセットにおいて新たな最先端性能を達成し、従来の最良モデルと比較してLPIPSを25～34%、DISTを21～43%低減するとともに、合成時間を3桁オーダーで短縮しているそうです。