我下個博客文章將在本週發布，這次的內容比平常更深入。 我將展示如何在我的Mac上使用MLX對微軟的Phi-3-mini-4k-instruct（3.8B）進行LoRA微調。 這個實驗：探索一個本地運行的3.8B模型是否可以通過在我自己的博客文章上進行訓練來“像我一樣說話”。 我已經將LoRA適配器的權重推送到Hugging Face。 但更重要的是，這篇文章將分享整個過程，以便更多的技術人員可以學習如何開始微調： - 準備訓練數據 - 訓練模型和超參數 - 評估結果 - 發布到Hugging Face 我還將分享所有所需的代碼，以便你自己動手。

GPT-OSS 使用 MXFP4 量化（MLX 現在支持）。 目前有兩種 FP4 格式在流通：MXFP4 和 NVFP4（NV 代表 Nvidia）。 從 GPT-OSS 使用 MXFP4 的方式來看，它有些不夠優化。我認為 NVFP4 將是未來更常用的格式。 更多細節如下： 這兩種格式將權重量化為 4 位浮點數（e2 m1），每組有一個獨特的縮放比例。 區別在於組大小和每組的縮放比例編碼方式。 - MXFP4 使用 e8m0 縮放（定點，8 位），組大小為 32。在乘以權重之前，它會被提升到 2 的幂。 - NVFP4 使用 e4m3（fp8）縮放，組大小為 16。它直接與權重相乘。 MXFP4 中的縮放編碼相當不夠優化，因為它沒有很多我們需要的值的表示。 事實上，如果你查看 GPT-OSS 的縮放分佈，它極其集中在僅幾個值周圍。例如，對於我正在查看的第二個 MoE 層，只有 8/256 個可能的值被使用。（見圖）。

確實。MLX遠不止於LLM推理。 對於這個DTM工作負載，MLX的吞吐量約為NumPy的8.8倍（延遲降低約89%） 用於梁撓度分析的差分變換方法（DTM）。