Appleが、WWDC26におけるセッション「Core Spotlightを利用したLLM検索」を公開しています。

iOS 27、iPadOS 27、macOS 27 Golden Gate、visionOS 27では、Apple Foundation Modelsフレームワークを使用してインテリジェントな機能を実装可能にするAPI「Spotlight search tool」が提供されます。

ただし、選択した言語モデルによっては、 SpotlightSearchToolを カスタマイズすることがモデルとアプリのコンテンツの両方に適している場合があります。

また、このツールを使用して、アプリのデータを追加のコンテキスト情報としてモデルに提供することができ、モデルはこの追加データを使用して、アプリのコンテンツに特化した質問に回答でき、たとえば「先週の火曜日の会議メモを探して」というプロンプトを実行するメモアプリでは、このツールを使用して、そのメモをモデルが利用できるようにすることができます。

アプリがCustom stageを登録して、 各アイテムに対して幸福スコアを計算し、 モデルがレスポンスを生成できるようにすることもできます。

計算された上位スコアの結果だけに基づいて、幸福スコアを計算するCustom stageを構築するには、 CSSearchableItemを入力として操作し、 スコア付きのバージョンを出力として返します。

Core Spotlightは、モデルがクエリを実行できる検索サーフェスとなり、既に提供されている検索インデックスを、より具体的なコンテキストに変換します。

AVFoundationは、文字起こしと翻訳のサーフェスとなり、元のメディアに含まれていなかった言語の字幕を提供します。

どちらの場合も、Appleがモデルを所有し、主要な処理を担い、アプリ側はコンテンツとインターフェースを所有します。

検索可能な要素を提供すると、モデルがクエリを作成します。動画を再生すると、デバイスが字幕を生成します。

インテリジェンスは共有システム機能であり、アプリ側の役割は、それを実装することから、適切なコンテンツをモデルに供給し、結果を分かりやすく表示することへと移行します。

Spotlight インデックスのメタデータの一部（テキストコンテンツや HTML など）は、検索は可能だが言語モデルが読み取れる形式では取得できない非常にコンパクトな形式で保存されます。