Apple Machine Learning Researchが、アイドル状態のApple Siliconデバイス上に構築された、動的で分散型の仮想GPUクラウド「Minions」に関する技術論文を公開しています。

GPUアクセラレーションによる機械学習推論への需要の高まりは、高コスト、柔軟性の低さ、リソース制約下での長い待ち時間など、集中型GPUインフラストラクチャの限界を露呈させています。

同時に、最新のApple SiliconベースのmacOSデバイスには、通常使用時にほとんどアイドル状態になっている強力なGPUが搭載されています。

本稿では、macOSデバイス全体に分散されたアイドル状態のApple Silicon GPUを集約し、大規模な機械学習推論ワークロードを実行する動的で分散型の仮想GPUクラウドであるMinionsを紹介します。

Minionsを使用することで、チームは追加のGPU調達を必要とせずに既存のハードウェアを活用できます。

このシステムは、柔軟なGPU推論タスク実行、耐障害性、効率的なリソース利用を提供します。

私たちの経験から、集中型GPUリソ​​ースが制約されている環境において、アイドル状態のmacOSデバイスを実用的な分散型GPU推論プラットフォームに変換できることが示されています。

この技術は、実際にApple社内で利用されていて、チーム内で使用するアイドル状態のMacと、Apple社内の独自ストレージとアクセス制御を使用します。

チームがより多くの容量を必要とする場合、彼らはSlackで同僚に連絡し、エグゼキューターをオンにしてもらうよう頼みます。そのような環境でも、最も多い採用上の懸念はデータ機密性ですが、各チームの作業をそのチーム自身のマシン上に留めることでセキュリティを保っていました。

この技術を応用したのがEigen Labsが開発したApple Silicon搭載Macを分散型プライベート推論ネットワークとして貸し出し、使用量に応じたトークン料金を稼げる「Darkbloom」です。