Appleが、WDC25において、Video Toolboxフレームワークに関して説明する「機械学習にもとづくビデオエフェクトでアプリを強化」を公開しています。

macOS Sequoia 15.4以降で、ビデオ効果用フレーム プロセッサ「VTFrameProcessor」に、新しいMLベースのビデオ処理アルゴリズムが追加されていて、このAPIがiOS 26/iPadOS 26でも利用可能になったると説明しています。

フレームレート変換は、クリップ内の1秒あたりのフレーム数を目標FPSに合わせて調整することが可能で、スローモーション効果の作成にも使用できます。

左側は、サッカー選手がゴールを祝っている動画で、右側は同じ動画にスローモーション効果を加えたものです。

動きをスローダウンすることで、喜びの熱気を捉え、選手の感情を際立たせています。

スーパー解像度は、動画の解像度を向上させ、古い動画の細部を復元します。

写真の補正やメディアの修復といった用途に最適です。

この例では、超解像度効果を適用することで、動画のシャープネスと鮮明度が向上し、右側のボートがより精細に、ぼやけが少なくなっています。

超解像度には、画像用と動画用の2つのMLモデルが用意されています。

映画制作で人気の機能であるモーションブラーは、観客が期待する自然な動きを作り出すために不可欠です。また、様々な効果を生み出すためにも使用できます。

この例では、右側のビデオにモーションブラー効果を適用し、バイカーがかなり速いペースで走行しているように見せています。さらに、この効果は左側のビデオのぎこちない動きを滑らかにし、視聴感を高めています。

もう1つの非常に便利な効果は、時間的ノイズをフィルタリングです。これは、過去と未来の参照フレームを利用した動き予測に基づいています。

時間的ノイズを滑らかにし、ビデオ内のアーティファクトを除去することで、圧縮を容易にし、品質を向上させることができます。

左側は、色ノイズの多い木のビデオです。この効果を適用すると、右側のビデオははるかに鮮明になり、特に交通標識のノイズが少なくなっています。

低遅延フレーム補間効果は、フレームレートをリアルタイムパフォーマンスでアップサンプリングします。オプションで解像度をアップサンプリングすることもできます。

左側は、女性が歩きながらカメラに向かって話している、途切れ途切れで低フレームレートの動画です。右側の加工された動画は、より滑らかで見やすくなっています。

低遅延ビデオ超解像は、軽量のスーパースケーラーで、ネットワーク状況が悪い場合でも、ビデオ会議の体験を向上させるために特別に最適化されています。