Metaが、Muse Sparkのオープンウェイト版「Muse Spark Open」をリリースしたと発表しています。

816Bパラメータのスパース混合エキスパートモデルであり、トークンあたり約420億個のパラメータをアクティブ化します。

テキスト、画像、ビデオ、音声の入力を受け付け、100万トークンのコンテキストを保持します。

エージェント作業向けにトレーニングされているため、大規模なコードベースを読み込み、変更を計画し、ツールを呼び出し、結果を確認し、ステップが失敗した場合に自己修正できるエージェントを構築できます。

NVIDIA、AMD、Intel、Appleのハードウェア上で、SGLang、vLLM、TensorRT-LLM、Transformers、llama.cpp、MLX、Unslothといったフレームワークで動作します。

ハードウェアに合った量子化チェックポイントを選択し、ドラフトモデルで生成を高速化し、強化学習でファインチューニングやトレーニングを行うことができます。

MLXは、NVFP4 チェックポイントを使用した推論をサポートするようになり、Mac Studio (2026)/M5 Ultra/256GBメモリモデル4台、またはMac Studio (2026)/M5 Ultra/512GBメモリモデル2台による合計1TBメモリ以上の環境で実行できます。

この合計メモリは、NVFP4 量子化バージョンの Muse Spark Open を格納するのに十分な容量で、内蔵の Thunderbolt 5 および RDMA サポートを使用して Mac Studio を直接接続することで、高帯域幅かつ低遅延の通信が保証されます。

Muse Spark Open の混合エキスパートアーキテクチャは、トークンごとに 42B パラメータのみをアクティブ化し、MLX テンソル並列処理によって補完されます。

これにより、モデルのすべてのレイヤーが両方のマシンに分割され、各マシンが重みの半分を保持し、各トークンで計算の半分を実行します。重みは移動しません。

2台のMac Studio (2026)/M5 Ultraが1つのマシンとして動作できるように、小さな中間結果のみがマイクロ秒単位で2つのマシン間を移動します。

その結果、デスクトップ上で動作する最も高性能な US オープンウェイトモデルが実現します。