AppleのMachine Learning Researchが「Introducing the Third Generation of Apple’s Foundation Models」を公開しています。

次世代のApple Intelligenceは、ユーザーを中心に据え、オペレーティングシステムに深く統合され、プライバシーを核とした大胆な新アーキテクチャによって支えられています。

このアーキテクチャの中核を成すのは、Googleとの共同開発により独自に構築された5つの基盤モデルからなる「Apple Foundation Models 第3世代」（AFM）です。これらは、デバイス上のモデルからプライベートクラウドコンピューティング上で動作するサーバーベースのモデルまでを網羅しています。

Apple Foundation Modelsは、まったく新しいSiriや、日常的に使用するアプリをよりスマートで便利にするインテリジェントなツールなど、ユーザーにとって幅広い有益な体験を実現するために構築されています。

このモデル群には、デバイス内蔵型モデルが2種類含まれています。

AFM 3 Core
30億個のパラメータを持つ高密度モデルの次世代版であり、品質をさらに向上させています。

AFM 3 Core Advanced
Appleで最もパワフルなオンデバイスモデルで、ネイティブにマルチモーダルに対応しており、表現力豊かな音声や高精度な音声入力など、便利な機能を実現します。最先端のAppleの研究に基づいて構築されたこの200億パラメータモデルは、スパースアーキテクチャを採用し、要求に応じて一度に10億から40億のパラメータのみをアクティブ化します。AFM 3 Core Advancedは、最も高性能なAppleシリコンシステムによってその真価を発揮し、最適化されています。

最新のApple Foundationモデルには、プライベートクラウドコンピューティング上で動作する3つのサーバーベースモデルも含まれています。これにより、ユーザーデータはAppleを含むいかなる第三者にも保存または共有されることは決してありません。これらのモデルは以下のとおりです。

AFM 3 Cloud
Appleのサーバーサイドの中核を担う製品であり、速度、効率性、パフォーマンスを最適化しています。

画像生成と編集のためのADM 3 Cloud（画像）
高度な写真編集ツール、まったく新しいImage Playgroundなどを利用可能にします。

AFM 3 Cloud Pro
Appleで最も高性能なサーバーベースモデルであり、エージェントツールの使用や複雑な推論など、最も要求の厳しいユースケースに対応します。

AFM 3 Core、AFM 3 Core Advanced、AFM 3 Cloud、そしてADM 3 Cloudはすべて、Appleシリコン専用に設計されています。

AFM 3 Cloud Proでは、GoogleおよびNVIDIAと協力し、ユーザーのプライバシー保護に関する保証を維持しながら、Google Cloud上のNVIDIA GPUにプライベートクラウドコンピューティングを拡張しています。

デバイス上のAI機能を最大限に活用する
革新的な分野の一つとして、当社で最も強力なオンデバイスモデルであるAFM 3 Core Advancedがあり、従来の大規模言語モデルは、密に活性化されるか疎に活性化されるかにかかわらず、すべての重みをアクティブメモリ（DRAM）に配置する必要があり、膨大なフットプリントを生み出し、コンシューマー向けハードウェアでの拡張性を制限していました。

この障壁を打破するために、AFM 3 Core Advancedは、Appleの研究者によって開発された技術である「Instruction-Following Pruning for Large Language Models」（IFP）に基づいた、新しい疎に活性化されるアーキテクチャを導入しています。

モデル全体をDRAMに強制的に書き込む代わりに、モデル全体をフラッシュメモリ（NAND）に格納し、NAND-DRAM間の帯域幅は、標準的なMoEモデルのようにトークンごとに重みを交換するには遅すぎるため、AFM 3 Core Advancedはプロンプトごとにルーティングの決定を行います。

軽量で高密度のブロックは、初期処理中に固定されたエキスパートのセットを選択し、生成中に定期的にそれらを再選択します。

データ移動を最小限に抑えるため、モデルは常にアクティブな「共有エキスパート」を高い割合で使用し、必要に応じてのみDRAMに書き込まれる入力依存の「ルーティングエキスパート」を使用します。

この設計は、推論時間の柔軟性という重要な利点ももたらします。AFM 3 Core Advancedは、すべてのタスクに単一のモデルを使用したり、より小さなモデルのアンサンブルを管理したりするのではなく、各ユースケースに合わせてあらかじめ決められた数のアクティブパラメータを使用します。これにより、難易度の異なる要求に対して重みを段階的にロードできるため、レイテンシを最小限に抑えながら、従来のDRAMの制限をはるかに超えるモデルサイズを実現できます。

サーバー基盤のスケーリング
デバイス内AIにおけるイノベーションに加え、サーバーベースモデルにおいても大きな進歩を遂げています。例えば、AppleのサーバーサイドモデルであるAFM 3 Cloudは、プライベートクラウドコンピューティングを活用したマルチモーダル推論において、大幅な進歩を遂げています。

これを実現するために、昨年導入した「Apple Intelligence Foundation Language Models Tech Report 2025」（PT-MoE）基盤に、いくつかの重要なアップグレードを実装しました。これらのアーキテクチャの改良により、トレーニングが安定し、複雑なサーバーサイドクエリに対して、モデルがコンテキストウィンドウ内の情報を推論し、正確に想起する能力が向上します。

ADM 3 Cloud を使用した画像の作成と編集
モデルアーキテクチャを進化させたもう一つの例は、最新の画像モデルであるADM 3 Cloudです。高品質な画像の作成、編集、およびゲンモジを実現するために、ADM 3 Cloudは優れた制御性とパラメータ効率性を提供するように開発されました。

さまざまなアスペクト比と解像度に対応し、より広範なApple Foundation Modelファミリーを活用して、作成と編集の両方をガイドします。

基本モデルは画像の作成、編集、ゲンモジをネイティブに処理しますが、写真アプリの空間リフレーミングや、Image Playgroundでのタッチ操作による画像変更とパーソナライズなど、特定のダウンストリーム編集エクスペリエンスを実現するために、専用のアダプタも使用しています。

トレーニングデータ
優れた基盤モデルを構築するには、多様で質の高いデータが必要です。基盤モデルの学習には、公開情報、第三者からライセンスまたは購入したデータ、オープンソースデータ、専用調査で得られたデータ、合成データなど、様々なデータを組み合わせて使用​​します。基盤モデルの学習において、ユーザーのプライベートな個人データやユーザーとのやり取りは一切使用しません。また、ウェブパブリッシャーが基盤モデルの学習からオプトアウトする権利を尊重します。

トレーニングレシピ
新しいApple Intelligenceエクスペリエンスをサポートするため、最新世代のクラウドTPUアクセラレータ上で事前学習を大幅に拡張しました。

すべてのモデルは共通の初期基盤を共有した後、それぞれのアーキテクチャとユースケースに合わせて特化し、音声、画像理解、長文脈推論、高品質な画像生成といったマルチモーダル機能を追加しました。その後、教師ありファインチューニングと多段階強化学習を組み合わせることで、事後学習プロセスを拡張しました。

最後に、各モデルをそれぞれのターゲットハードウェアに合わせて最適化しました。AFM 3 Core、AFM 3 Core Advanced、AFM 3 Cloud、およびADM 3 Cloud (Image)はAppleシリコン上で効率的に動作するように最適化され、AFM 3 Cloud ProはNVIDIA GPU向けに最適化されました。

量子化対応トレーニングを用いることで、高い精度を維持しながらモデルを大幅に圧縮し、ユーザーが期待する応答性の高い高品質なエクスペリエンスを実現しました。