私の次のブログ記事は今週公開されますが、いつもよりずっと深く掘り下げられています。 MLX を使用して Mac で LoRA を使用して Microsoft の Phi-3-mini-4k-instruct (3.8B) を微調整した方法について説明します。 実験は、ローカルで実行される 3.8B モデルを、自分のブログ投稿でトレーニングすることで「私のように話す」ように微調整できるかどうかを調査することです。 私はすでにLoRAアダプターの重みをHugging Faceにプッシュしました。 しかし、さらに重要なことは、この投稿ではプロセス全体を共有し、より多くの技術者が微調整を開始する方法を学ぶことができることです。 - トレーニングデータの準備 - モデルとハイパーパラメーターのトレーニング - 結果の評価 - Hugging Face への公開 そして、それを自分で行うために必要なすべてのコードを共有します。

GPT-OSS は MXFP4 量子化を使用します (MLX は現在サポートしています)。 現在流通しているFP4フォーマットは、MXFP4とNVFP4(Nvidiaの場合はNV)の2つです。 GPT-OSS が MXFP4 をどのように使用しているかを見ると、やや最適とは言えません。将来的にはNVFP4がより一般的に使用される形式になると思います。 詳細は以下をご覧ください。 どちらの形式も、グループごとに一意のスケールで重みを 4 ビット浮動小数点 (e2 m1) に量子化します。 違いは、グループのサイズと、各グループのスケールのエンコード方法です。 - MXFP4 は、グループ サイズが 32 の e8m0 スケール (固定小数点、8 ビット) を使用します。重みを掛ける前に2乗に上げる。 - NVFP4 は、グループ サイズが 16 の e4m3 (fp8) スケールを使用します。重みに直接掛けられます MXFP4のスケールエンコーディングは、必要な範囲内の多くの値の表現がないため、かなり最適ではありません。 実際、GPT-OSSのスケールの分布を見ると、わずか数個の値に非常に集中しています。たとえば、私が見ている2番目のMoEレイヤーでは、8/256の可能な値しか使用されていません。(プロットを参照)。

確かに。MLX は LLM 推論をはるかに超えています。 MLX は、この DTM ワークロードに対して NumPy のスループットを ~8.8× 提供します (レイテンシーを ≈89% 削減) ビームたわみ解析のための微分変換法(DTM)