Appleが、WWDC26において「Music Understandingフレームワークについて」を公開しています。

Final Cut Proが搭載する曲のリズムを分析し、 構造を解析してビートグリッドを表示するビート検出機能や、iPad向けFinal Cut Proでは、モンタージュ機能がリズム、ペース、構造を分析することで、クリップを音楽に自動的に同期させることが可能になっています。

このフレームワークは、キー、リズム、構造、ペース、楽器アクティビティ、そしてラウドネスの主要な領域の分析を提供します。

そしてそれらのセグメントが最終的にセクションを構築します。

セクションとは、コーラス、バース、イントロ、ブリッジのことで、曲の中で、ドラムなどの楽器が、ベース、またはボーカルが異なるタイミングで異なる強度で演奏されることがあります。

これらの楽器は、共通の音符の集まりの周りで演奏され、それがキーと呼ばれます。

曲全体を通じて一定のパルスやBPMがあっても、曲の部分によって遅く感じたり速く感じたりすることがあり、これをペースと呼びます。

フレームワークの使い方について説明します。

概要として、アプリはMusicUnderstandingSessionと連携し、AVAssetまたは カスタムオーディオプロバイダーで初期化します。

分析を開始するには、analyzeを呼び出して結果をawaitします。

デフォルトでは、フレームワークはすべての分析タイプを解析します。

最高のパフォーマンスを得るには、必要な分析タイプを指定することができ、これにより不要な計算を避けることができます。

アプリはMusic Understandingフレームワークを使って 音声を分析し、ビジュアル体験に変換して、各結果に専用のタイルを表示します。

再生ボタンを押すと、曲が再生されるにつれてRhythmとStructureのタイルがUpdateしますす。

再生ヘッドが体験をまとめ、音楽に合わせて追いかけることができます。

VideoタイルはStructureとPaceを使って 音楽に同期したビデオを作成することができます。

Videoタイルは音楽の雰囲気に合わせた一連のビデオクリップを表示します。

アルゴリズムはまず曲のセクションの時間範囲を特定することから始まります。 次に各セクションのペースを使って、その時間範囲に表示するクリップ数を決定します。

ビデオクリップは目標クリップ時間に 合わせて再タイミング調整され、エネルギーが低い部分では長くゆっくりとしたクリップになり、エネルギーが高い部分では短く速いクリップになります。

Music Understandingを使えば、ビジュアルを曲のビート、ラウドネス、ペースに同期させ、 強力なビデオ編集機能を構築したり、テンポやキーで音楽カタログを整理してDJアプリを動かしたり、 分析データを事前計算してバンドルして音楽に合わせてゲームをアニメートすることができます。