David Dalcu、全体的に高速化されたプライベートAIサーバー「MLX-Serve for Mac 26.10.1」をリリース
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。
MLX-Serve for Mac 26.10.1
David Dalcuが、プライベートAIサーバー「MLX-Serve for Mac 26.10.1」をリリースしています。
MLX-ServeはネイティブのZigサーバーで、スタック内にPythonは入っていません。
OpenAIやAnthropic互換のAPIにも対応しています。
GGUFフォーマットは、独自のMLX エンジンで実行され、Qwen3.8 27B とそのドラフターをMac Studio (2026)/M5 Ultraで実行した場合66%アップ、MacBook Pro (14インチ, 2021)/M1 Proで実行した場合37%アップしているそうです。
MLX-Serve for Mac：Neural Engine
GPUとは別に、Apple Neural Engine上で処理の一部を実行するオプションも用意されています。
各スイッチはモデルの一部を独自のコピーとして保持するため、追加のメモリとディスク容量が必要となります。
推定値は各スイッチの下に記載されています。MaxまたはUltraは下限付近に位置し、より小型のGPUではNeural Engineに処理の多くを委ねるため、上限付近に位置します。
リリースノートはGitHubで公開されていて、iPhone/iPad版生成AIアプリ「MLX-Serve」もApp Storeにて配信されています。
